[論文レビュー] Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning

Yu Kobayashi, Hideaki Iiduka|arXiv (Cornell University)|Feb 29, 2020

Stochastic Gradient Optimization Techniques参考文献 18被引用数 5

ひとこと要約

本稿では、非線形共役勾配法とAMSGradを統合することで、深層学習における収束性と学習効率を向上させる、新しい自己適応的確率最適化アルゴリズムである共役勾配に基づくAdam（CoBA）を提案する。実験の結果、CoBAは、テキスト分類および画像分類タスクにおいて、Adam、AMSGrad、RMSProp、AdaGradと比較して、より少ないエポック数で低い損失を達成した。

ABSTRACT

This paper proposes a conjugate-gradient-based Adam algorithm blending Adam with nonlinear conjugate gradient methods and shows its convergence analysis. Numerical experiments on text classification and image classification show that the proposed algorithm can train deep neural network models in fewer epochs than the existing adaptive stochastic optimization algorithms can.

研究の動機と目的

• 深層学習における確率的最適化問題において、Adamおよびその変種が最適解に収束しないという限界を解決すること。
• 自己適応的勾配法と共役勾配技術を組み合わせることで、深層ニューラルネットワークの学習効率と収束速度を向上させること。
• 自己適応的学習率の利点を維持しつつ、探索方向の質を向上させる理論的裏付けをもつ最適化アルゴリズムの開発。
• LSTMを用いたテキスト分類やResNetを用いた画像分類を含む、実世界の深層学習タスクにおいて、提案手法の優れた性能を示すこと。

提案手法

• 標準の勾配に基づく更新に代えて、非線形共役勾配（CG）の探索方向をAMSGradフレームワークに統合する。
• ポラック＝リビエール＝ポリアックなどの共役勾配式を用いて、過去の勾配を組み込んだ自己適応的探索方向を計算する。
• AMSGradと同様に、勾配および二乗勾配の指数的移動平均を維持するが、更新方向をCGに基づくベクトルに変更する。
• 有界な実行可能集合内での収束を保証するために、マハラノビス距離の下での射影ステップを適用する。
• 各反復で目的関数の十分な減少を保証するため、バックトラッキングを用いたラインサーチ戦略を採用する。
• 理論的分析により、標準的な仮定の下でCoBAはAMSGradと同等の収束速度を達成することが示された。

実験結果

リサーチクエスチョン

• RQ1 共役勾配方向は、深層学習における自己適応的確率最適化アルゴリズムの収束性および一般化性能を向上させることができるか？
• RQ2 CGとAMSGradを組み合わせることで、Adamおよびその変種と比較して、より速い収束と低い訓練損失が達成できるか？
• RQ3 提案されたCoBAアルゴリズムは、確率的最適化設定において理論的に最適解への収束が保証されるか？
• RQ4 CoBAは、LSTMを用いたテキスト分類やResNetを用いた画像分類を含む、標準的な深層学習ベンチマークにおいて実際の性能をどのように発揮するか？
• RQ5 共役勾配メカニズムは、同等またはより良いモデル性能に到達するための訓練エポック数を削減できるか？

主な発見

• CoBAは、テキスト分類および画像分類タスクの両方において、Adam、AMSGrad、RMSProp、AdaGradと比較して、より低い訓練損失を達成した。
• 提案されたアルゴリズムは、既存の自己適応的手法と比較して、より少ないエポック数で収束した。これは、学習効率の向上を示している。
• 数値実験により、複数の深層学習モデルにおいて、CoBAはベースラインアルゴリズムよりも損失関数の和をより効果的に低減することが示された。
• 理論的分析により、CoBAはAMSGradと同等の収束速度を維持しており、収束性と安定性が保証されていることが確認された。
• 共役勾配方向の統合により、より優れた探索方向選択が可能となり、メモリオーバーヘッドを増加させることなく収束が加速した。
• 実騴的結果により、CoBAが深層ニューラルネットワークの訓練における経験的リスク目的関数の最小化において、既存手法を上回ることを検証した。