[論文レビュー] A general system of differential equations to model first order adaptive algorithms

André Belotto da Silva, Maxime Gazeau|arXiv (Cornell University)|Oct 31, 2018

Advanced Optimization Algorithms Research参考文献 47被引用数 13

ひとこと要約

この論文は、Adam や RMSProp、ネステロフ法などの一次順応最適化アルゴリズムをモデル化する一般化された連続時間系の微分方程式を導入する。この系の収束特性を分析することで、軌道が臨界点に収束する条件、鞍点や局所最大値への収束を回避する条件、および凸および非凸設定における収束速度を特定し、深層学習における順応的アルゴリズムの挙動に関する理論的洞察を提供する。

ABSTRACT

First order optimization algorithms play a major role in large scale machine learning. A new class of methods, called adaptive algorithms, were recently introduced to adjust iteratively the learning rate for each coordinate. Despite great practical success in deep learning, their behavior and performance on more general loss functions are not well understood. In this paper, we derive a non-autonomous system of differential equations, which is the continuous time limit of adaptive optimization methods. We prove global well-posedness of the system and we investigate the numerical time convergence of its forward Euler approximation. We study, furthermore, the convergence of its trajectories and give conditions under which the differential system, underlying all adaptive algorithms, is suitable for optimization. We discuss convergence to a critical point in the non-convex case and give conditions for the dynamics to avoid saddle points and local maxima. For convex and deterministic loss function, we introduce a suitable Lyapunov functional which allow us to study its rate of convergence. Several other properties of both the continuous and discrete systems are briefly discussed. The differential system studied in the paper is general enough to encompass many other classical algorithms (such as Heavy ball and Nesterov's accelerated method) and allow us to recover several known results for these algorithms.

研究の動機と目的

• 深層学習で用いられる一次順応最適化アルゴリズムを統一的に分析する連続時間フレームワークを構築すること。
• 経験的成功にとどまらない、非凸および凸設定における順応的アルゴリズムの収束挙動を理解すること。
• 収束を保証し、鞍点や局所最大値への収束を回避するハイパーパrameterの条件を同定すること。
• リャプノフ関数を用いて凸損失関数における収束速度を導出し、順応的アルゴリズムと勾配降下法を比較すること。
• 連続時間極限を考察することで、順応的アルゴリズムの設計および調整に理論的指針を提供すること。

提案手法

• 離散的順応最適化アルゴリズムの連続時間極限として、非-autonomousな常微分方程式（ODE）系を提案する。
• 一般化されたODE系（2.1）を導出し、その前進オイラー離散化がAdam やネステロフ法を含む広範な一次法クラスと一致することを示す。
• 軌道の収束性と安定性を分析するため、リャプノフ関数（2.4）およびその一般化形（E.2）を導入する。
• 時間依存係数を有するエネルギー法を適用し、収束の十分条件を導出する。これには、補助関数 A(t), B(t), C(t) に関する不等式（E.6）および（E.7）が含まれる。
• 微積分の基本定理とノルムの上限を用いて、目的関数値の収束速度推定を導出する。
• 特定のパrameter選択下で、ODE系が古典的加速法（例：ヘヴィーモン、ネステロフ法）と等価であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸設定において、順応的アルゴリズムをモデル化する連続時間ODE系が、臨界点に収束する条件は何か？
• RQ2 非凸最適化において、動的システムが鞍点や局所最大値への収束を回避するための条件は何か？
• RQ3 凸損失関数において、順応的アルゴリズムの収束速度は、標準的勾配降下法と比べてどうなるか？
• RQ4 連続時間ODEフレームワークは、ネステロフ法のような古典的加速法の既知の収束結果を回復できるか？
• RQ5 ODE系におけるハイパーパrameterのどの選択が、最適化軌道の安定的かつ収束的挙動を保証するか？

主な発見

• 弱い仮定のもとで、連続時間ODE系（2.1）は非凸設定においても損失関数の臨界集合に収束することを保証する。
• 鞍点や局所最大値への収束を回避する十分条件を導出し、ODEの構造と時間依存係数の選択に依存することを示す。
• 凸損失関数においては、特定のパrameter選択下で、目的関数値が最小値に o(1/t^{2r/3}) のレートで収束することをリャプノフ関数を用いて証明する。
• 標準的なハイパーパrameter設定では、凸設定において順応的アルゴリズムの収束速度が標準的勾配降下法より劣化することが判明し、一般的な直感とは逆である。
• 適切にパラメータを調整すれば、ODEフレームワークはネステロフの加速法やヘヴィーモン法といった古典的法の既知の収束結果を回復する。
• 一般化されたエネルギー関数により、標準的関数が失敗する場合（特に 0 < r < 3 のネステロフ法において）の収束速度解析が可能になる。