[論文レビュー] Global Convergence of Adaptive Gradient Methods for An Over-parameterized Neural Network

Xiaoxia Wu, Simon S. Du+1 more|arXiv (Cornell University)|Feb 19, 2019

Stochastic Gradient Optimization Techniques参考文献 33被引用数 44

ひとこと要約

本論文は、二層の過剰パラメータ化された ReLU ネットワークにおいて、適応的勾配法が多項式時間でグローバルに収束し、ハイパーパラメータ選択に対して頑健で、学習率のチューニングを要せず、十分な幅が与えられた場合に成り立つことを示す。

ABSTRACT

Adaptive gradient methods like AdaGrad are widely used in optimizing neural networks. Yet, existing convergence guarantees for adaptive gradient methods require either convexity or smoothness, and, in the smooth setting, only guarantee convergence to a stationary point. We propose an adaptive gradient method and show that for two-layer over-parameterized neural networks -- if the width is sufficiently large (polynomially) -- then the proposed method converges \emph{to the global minimum} in polynomial time, and convergence is robust, \emph{ without the need to fine-tune hyper-parameters such as the step-size schedule and with the level of over-parametrization independent of the training error}. Our analysis indicates in particular that over-parametrization is crucial for the harnessing the full potential of adaptive gradient methods in the setting of neural networks.

研究の動機と目的

• 非凸で過剰パラメータ化されたニューラルネットワークにおける適応勾配法のグローバル収束を示す。
• 過剰パラメータ化がハイパーパラメータに影響されない頑健な収束を可能にすることを示す。
• この設定で AdaGrad 似の適応法に対する多項式時間の収束保証を提供する。

提案手法

• ノルムベースの AdaGrad アプローチの変法として、適応勾配法（AdaLoss）を導入する。
• 過parameterization とデータ依存の Gram 行列仮定の下で、多項式時間のグローバル収束保証を導出する。
• 適応学習率が収束域内にとどまり、消失しないことを保証する境界を証明する。
• 進化する学習率と損失を上界する、慎重に構築された仮説を用いた帰納法ベースの証明を用いる。
• 望ましい収束保証を達成するには幅 m が十分に大きい必要があることを示す。

実験結果

リサーチクエスチョン

• RQ1 適応勾配法は非凸・過剰パラメータ化ニューラルネットワークにおいてグローバル収束を達成できるか？
• RQ2 過剰パラメータ化は適応法の収束挙動と必要な学習率のメカニズムにどのように影響するか？
• RQ3 このニューラルネットワーク設定において、AdaGrad 似の方法のハイパーパラメータ選択に頑健な多項式時間収束保証があるか？
• RQ4 収束速度を支配するデータ・初期化依存量（例：Gram 行列）は何か？

主な発見

• 勾配降下法はデータ依存 Gram 行列 H∞ に関して学習率を改善でき、より速い収束をもたらす。
• 提案手法 AdaLoss 適応法は、過parameterizationの下で多項式時間にグローバルミニマムへ収束し、ハイパーパラメータに頑健である。
• 収束保証は収束速度に関して任意のハイパーパラメータ選択に対して成り立つが、定数はそれらの選択に応じて変化する。
• 幅の要件: m = Ω(n^6 / (λ0^4 δ^3) + η^4 / α^4 · n^4 ||H∞||^4 / (λ0^4 δ^2)).
• この解析は、過剰パラメータ化がこのニューラルネットワーク設定で適応勾配法を活用する上で極めて重要であることを示している。