[論文レビュー] A Dynamical View on Optimization Algorithms of Overparameterized Neural Networks

Zhiqi Bu, Shiyun Xu+1 more|arXiv (Cornell University)|Oct 25, 2020

Stochastic Gradient Optimization Techniques参考文献 58被引用数 4

ひとこと要約

本稿は、過パラメータ化されたニューラルネットワークにおける最適化アルゴリズムを動的システムの観点から分析し、Heavy Ball (HB) 法およびNesterov加速勾配 (NAG) 法における非凸な重みダイナミクスが、ニューラルタングエント・カーネル (NTK) を通じて強い凸性を持つ誤差ダイナミクスに写像可能であることを示している。Lyapunov関数と極限ODEを用いて、HBはグローバル線形収束を達成し、NAGは部分線形収束することを証明しており、凸最適化理論を非凸なディープラーニング設定へと拡張している。

ABSTRACT

When equipped with efficient optimization algorithms, the over-parameterized neural networks have demonstrated high level of performance even though the loss function is non-convex and non-smooth. While many works have been focusing on understanding the loss dynamics by training neural networks with the gradient descent (GD), in this work, we consider a broad class of optimization algorithms that are commonly used in practice. For example, we show from a dynamical system perspective that the Heavy Ball (HB) method can converge to global minimum on mean squared error (MSE) at a linear rate (similar to GD); however, the Nesterov accelerated gradient descent (NAG) may only converges to global minimum sublinearly. Our results rely on the connection between neural tangent kernel (NTK) and finite over-parameterized neural networks with ReLU activation, which leads to analyzing the limiting ordinary differential equations (ODE) for optimization algorithms. We show that, optimizing the non-convex loss over the weights corresponds to optimizing some strongly convex loss over the prediction error. As a consequence, we can leverage the classical convex optimization theory to understand the convergence behavior of neural networks. We believe our approach can also be extended to other optimization algorithms and network architectures.

研究の動機と目的

• 過パラメータ化されたニューラルネットワークにおける非GD最適化アルゴリズムのグローバル収束挙動を理解すること。
• 動的システムとNTKを用いて、非凸なディープラーニング最適化と凸最適化理論を橋渡しすること。
• 勾配降下法にとどまらず、HBやNAGのようなモーメンタムベースの手法へと古典的収束解析を拡張すること。
• これらのアルゴリズム下での誤差ダイナミクスが強く凸な問題に類似しており、Lyapunov関数の適用が可能になることを確立すること。

提案手法

• ニューラルタングエント・カーネル (NTK) フレームワークのもとで、過パラメータ化されたReLUネットワークの学習ダイナミクスを極限の常微分方程式 (ODE) としてモデル化する。
• 非凸な重みダイナミクスを、古典的凸最適化ツールの適用が可能な強い凸性を持つ誤差ダイナミクス問題に変換する。
• Gronwallの不等式の限界を克服するため、HBおよびNAGに対応する2階ODEの収束をLyapunov関数を用いて分析する。
• HBおよびNAGの極限ODEを分析することで収束速度を導出し、HBでは線形収束、NAGでは部分線形収束であることを示す。
• ヘッセ行列が正定値のままである限り、畳み込みニューラルネットワーク (CNN) やResNetなどのより深いアーキテクチャに対しても、同一の理論枠組みが適用可能であることを確立する。
• 適応的最適化手法についても、そのダイナミクスをODEの系としてモデル化することで分析を拡張し、将来的にAdamに類する手法への拡張が示唆される。

実験結果

リサーチクエスチョン

• RQ1 重み更新法としての勾配降下法を超えた、Heavy Ball や Nesterov といった最適化アルゴリズムが、過パラメータ化されたニューラルネットワークにおいてグローバル最小値に証明可能な収束を示せるか。
• RQ2 NTK領域において、HBおよびNAGの収束速度は標準的な勾配降下法と比べてどのように異なるか。
• RQ3 動的システムの観点から、古典的凸最適化理論を非凸なディープラーニング問題に適用可能か。
• RQ4 ニューラルタングエント・カーネル (NTK) が、非凸な重みダイナミクスから凸性を持つ誤差ダイナミクスへの写像を可能にする役割は何か。
• RQ5 この枠組みは、Adam や RMSProp などの適応的最適化アルゴリズムへと拡張可能か。

主な発見

• Heavy Ball 法は、平均二乗誤差損失のもとで、グローバル最小値へのグローバル線形収束を達成し、標準的な勾配降下法よりも速い収束速度を示す。
• Nesterov加速勾配降下法は、グローバル最小値へと部分線形収束するが、HB や GD よりもより多くの過パラメータ化を要する。
• ネットワーク重みの非凸最適化は、予測誤差に関する強い凸最適化問題と動的同値であり、Lyapunov関数の適用が可能になる。
• ヘッセ行列がNTKに対して正定値のままである限り、この収束解析はCNNやResNetを含む広範なアーキテクチャクラスに適用可能である。
• HBおよびNAGの極限ODEは、1層ネットワークに限定されず、任意の過パラメータ化されたネットワークと整合する。
• この枠組みは、Adam に類する適応的最適化手法がODEの系として解析可能であることを示唆しているが、その分析は今後の研究課題のままである。