[論文レビュー] Convergence Analysis of Optimization Algorithms

Hyoung-seok Kim, Ji‐Hoon Kang+6 more|arXiv (Cornell University)|Jul 6, 2017

Stochastic Gradient Optimization Techniques参考文献 6被引用数 12

ひとこと要約

この論文は、凸的かつリプシッツ連続な目的関数に対する最適化アルゴリズムの収束解析を提供しており、SGD やモーメンタム、ネステロフといった従来の一次元手法と、アダグラッドやアダムのような適応的手法を比較している。レジレット境界の導出により、適応的手法はヘッセ行列の推定が不十分であるため、深層学習における実用的普及にもかかわらず、最適な収束性能を発揮しない可能性があることが示されている。

ABSTRACT

The regret bound of an optimization algorithms is one of the basic criteria for evaluating the performance of the given algorithm. By inspecting the differences between the regret bounds of traditional algorithms and adaptive one, we provide a guide for choosing an optimizer with respect to the given data set and the loss function. For analysis, we assume that the loss function is convex and its gradient is Lipschitz continuous.

研究の動機と目的

• 凸的かつリプシッツ連続な目的関数の下で、一次元手法と適応的手法のレジレット境界を分析・比較すること。
• 深層学習における人気にもかかわらず、アダムのような適応的手法が実際にはなぜ性能を発揮しないのかを説明すること。
• データセットおよび損失関数の特性に基づいて最適化手法を選択するための理論的指針を提供すること。
• レジレット最小化フレームワークを用いて、確率的勾配降下法と適応的手法の収束挙動を形式化すること。

提案手法

• 収束解析の主な性能指標として、レジレット境界 $ R_J(T) = \sum_{t=1}^T [J(\theta_t) - J(\theta^*)] $ を用いる。
• 目的関数 $ J(\theta) $ が凸的であり、その勾配が $ L $-リプシッツ連続であるという仮定を適用し、$ J(y) \leq J(x) + \langle \nabla J(x), y-x \rangle + \frac{L}{2}\|y-x\|^2 $ を保証する。
• ステップサイズ $ \eta \in (0, 1/L] $ を用いた SGD に対して、$ O(\|\theta_1 - \theta^*\|^2) $ のレジレット境界を導出することで、定数誤差境界への収束を示している。
• アダプティブ手法（アダグラッド、アダム）は、勾配の累積和 $ s_{t,i} = \|g_{1:t,i}\|_2 $ を用いてその適応的学習率をモデル化する。
• 帰納法とノルムの不等式を用いて、$ \sum_{t=1}^T \frac{\hat{m}_{t,i}^2}{\sqrt{t \hat{v}_{t,i}}} $ の和を評価し、$ \|g_{1:T,i}\|_2 $ およびハイパーパramータ $ \beta_1, \beta_2 $ に依存することを示している。
• 重要なパラメータ $ \gamma = \beta_1^2 / \sqrt{\beta_2} $ を導入し、$ \gamma < 1 $ であればアダムに類似した手法のレジレット境界が有界であることを示している。

実験結果

リサーチクエスチョン

• RQ1 同じ仮定の下で、従来の一次元最適化手法と適応的手法のレジレット境界はどのように比較されるか？
• RQ2 アダムのような適応的手法は、設計上収束が速いはずなのに、実際には SGD よりも劣る収束性能を示す可能性があるのはなぜか？
• RQ3 適応的最適化アルゴリズムの収束性能に、ヘッセ行列の推定が果たす役割は何か？
• RQ4 アダムのレジレット境界が有界であるための $ \beta_1 $ および $ \beta_2 $ の条件は何か？
• RQ5 勾配履歴 $ \|g_{1:t,i}\|_2 $ の構造は、適応的最適化手法の収束速度にどのように影響するか？

主な発見

• ステップサイズ $ \eta \in (0, 1/L] $ を用いた標準的な SGD に対して、レジレット境界は $ R_J(T) \leq \frac{1}{2\eta} \|\theta_1 - \theta^*\|^2 $ である。これは定数誤差境界への収束を示している。
• アダプティブ手法（例：アダム）は、ヘッセ行列の推定が不十分であるため、初期段階の高速進捗にもかかわらず、収束性能が劣ることがある。
• アダムの場合、レジレット境界は $ \frac{2L_\infty}{(1 - \gamma)^2 \sqrt{1 - \beta_2}} \|g_{1:T,i}\|_2 $ で有界であり、ここで $ \gamma = \beta_1^2 / \sqrt{\beta_2} $ である。これはハイパーパramータに依存することを示している。
• 解析により、アダムにおける有界なレジレット境界のためには $ \gamma < 1 $ が必須条件であることが判明し、これは高い $ \beta_1 $ と低い $ \beta_2 $ が不安定性を引き起こす可能性を示唆している。
• 適応的手法のレジレット境界は、勾配履歴の $ \ell_2 $-ノルムに比例するため、長期的な勾配の分散が収束に影響することが示唆されている。
• 理論的予測は実験結果とも整合しており、適応的手法は、高速に収束しても、ヘッセ行列の近似が不十分であるがために一般化性能が劣ることがある。