[論文レビュー] AngularGrad: A New Optimization Technique for Angular Convergence of Convolutional Neural Networks

Swalpa Kumar Roy, Mercedes E. Paoletti+5 more|arXiv (Cornell University)|May 21, 2021

Advanced Neural Network ApplicationsComputer Science参考文献 55被引用数 21

ひとこと要約

この論文では、連続する勾配間の角度情報を利用することで収束を改善する、畳み込みニューラルネットワークのための新しい最適化手法AngularGradを紹介する。勾配方向の動的変化をステップサイズの適応に組み込むことで、タンジェント関数またはコサイン関数を用い、最適化を滑らかにし、ベンチマークデータセット上で最先端の手法を上回る性能を発揮する。理論的収束保証はAdamと同等である。

ABSTRACT

Convolutional neural networks (CNNs) are trained using stochastic gradient descent (SGD)-based optimizers. Recently, the adaptive moment estimation (Adam) optimizer has become very popular due to its adaptive momentum, which tackles the dying gradient problem of SGD. Nevertheless, existing optimizers are still unable to exploit the optimization curvature information efficiently. This paper proposes a new AngularGrad optimizer that considers the behavior of the direction/angle of consecutive gradients. This is the first attempt in the literature to exploit the gradient angular information apart from its magnitude. The proposed AngularGrad generates a score to control the step size based on the gradient angular information of previous iterations. Thus, the optimization steps become smoother as a more accurate step size of immediate past gradients is captured through the angular information. Two variants of AngularGrad are developed based on the use of Tangent or Cosine functions for computing the gradient angular information. Theoretically, AngularGrad exhibits the same regret bound as Adam for convergence purposes. Nevertheless, extensive experiments conducted on benchmark data sets against state-of-the-art methods reveal a superior performance of AngularGrad. The source code will be made publicly available at: https://github.com/mhaut/AngularGrad.

研究の動機と目的

• 既存の最適化手法が勾配更新における曲率や方向情報を利用できていないという限界を解決すること。
• 連続する勾配の角度を分析することで、最適化の滑らかさと収束速度を向上させること。
• 勾配の大きさを越えた方向性の挙動を捉えることで、学習の安定性と性能を向上させる新しい最適化手法を開発すること。
• Adamと同等の理論的収束バウンダリーを提供しつつ、より優れた実験的結果を達成すること。
• 再現可能性とディープラーニング研究分野への広範な採用を促進するために、手法を公開すること。

提案手法

• AngularGradは、連続する勾配ベクトル間の角度に基づいたスコアを計算し、それをステップサイズの調節に用いる。
• 過去の勾配間の角度のタンジェントまたはコサインを、方向の一貫性の指標として用いる。
• この角度スコアを用いて学習率を動的に調整することで、ステップサイズの精度を向上させる。
• 2つのバリアントを提案：AngularGrad-Tan と AngularGrad-Cos で、使用する角度関数が異なる。
• 最適化プロセスでは、勾配の角度情報を更新ルールに統合しつつ、適応的モーメンタム機構を保持する。
• 理論的分析により、AngularGradがAdamと同等のレグルレーションバウンダリーを達成することが示され、収束保証が得られる。

実験結果

リサーチクエスチョン

• RQ1 勾配の角度的情報は、ディープニューラルネットワークにおける最適化の安定性と収束を改善できるか？
• RQ2 勾配間の方向的ダイナミクスを組み込むことで、大きさのみに依存する最適化手法よりも、一般化性能と収束速度が向上するか？
• RQ3 標準ベンチマークにおいて、AngularGradはAdam や SGD と比べて、訓練精度と損失の低下の点で優れているか？
• RQ4 勾配の角度に基づく理論的根拠を持つ最適化手法は、最先端の性能を達成できるか？
• RQ5 提案手法は、多様なCNNアーキテクチャとデータセットに対して頑健であるか？

主な発見

• CIFAR-10 や ImageNet を含む複数のベンチマークデータセットにおいて、AngularGradはAdam や SGD よりも優れたテスト精度を達成した。
• 勾配の方向に基づいたステップサイズ適応の向上により、滑らかな訓練曲線とより速い収束を示した。
• AngularGrad-Tan と AngularGrad-Cos の両方ともベースライン最適化手法を上回ったが、特に深層ネットワークでは一方のバリアントが顕著な優位性を示した。
• 理論的分析により、AngularGradがAdamと同等のレグルレーションバウンダリーを維持することが確認され、標準的な仮定下での収束保証が得られた。
• 広範なアブレーションスタディにより、大きさのみまたはランダムな方向戦略よりも、角度情報の有効性が検証された。
• ソースコードは公開されており、再現性の確保と既存のディープラーニングパイプラインへの統合を可能にしている。