[論文レビュー] Shadowing Properties of Optimization Algorithms

Antonio Orvieto, Aurélien Lucchi|arXiv (Cornell University)|Nov 12, 2019

Model Reduction and Neural Networks被引用数 10

ひとこと要約

この論文は、勾配降下法（GD）およびヘヴィーボール法（HB）が、強い凸性や双曲的鞍点付近の弱い正則性条件下で、それらに対応する常微分方程式（ODE）モデルをシャドーイングすることを確立している。初期条件にわずかな摂動を許容することで、離散的アルゴリズムの反復は連続的ODE軌道を密接に追従するようになり、標準的なODE近似における指数的誤差増大の問題が解消される。

ABSTRACT

Ordinary differential equation (ODE) models of gradient-based optimization methods can provide insights into the dynamics of learning and inspire the design of new algorithms. Unfortunately, this thought-provoking perspective is weakened by the fact that, in the worst case, the error between the algorithm steps and its ODE approximation grows exponentially with the number of iterations. In an attempt to encourage the use of continuous-time methods in optimization, we show that, if some additional regularity on the objective is assumed, the ODE representations of Gradient Descent and Heavy-ball do not suffer from the aforementioned problem, once we allow for a small perturbation on the algorithm initial condition. In the dynamical systems literature, this phenomenon is called shadowing. Our analysis relies on the concept of hyperbolicity, as well as on tools from numerical analysis.

研究の動機と目的

• 離散的最適化アルゴリズムが時間経過とともにそのODE近似から指数的に逸脱するという根本的問題に対処すること。
• 標準的な数値積分誤差にかかわらず、最適化アルゴリズムの離散的反復が連続的ODE軌道に密接に従う条件を確立すること。
• 力学系理論におけるシャドーイングの概念を最適化に導入し、連続時間モデルと離散的アルゴリズムの間の厳密な接続を可能にすること。
• ODEベースの解析を用いて収束保証を導出したり、機械学習における新しいアルゴリズムを設計するための理論的基盤を提供すること。
• 強い凸性または臨界点付近での双曲性という現実的な仮定のもとで、GDとHBに対してシャドーイングが成立することを示すこと。

提案手法

• 力学系理論における数学的概念「シャドーイング」を活用し、擬似軌道（離散的アルゴリズム）が初期条件のわずかな摂動のもとで真の軌道（ODE解）を追従することを示す。
• 数値解析および双曲性理論の道具を用いて、目的関数が正則性条件を満たす場合、GDおよびHBのODEフローがそれらの離散的対応物によってシャドーイングされることを示す。
• 線形双曲性解析を用いて、ステップサイズ $ h $、モーメンタム $ \beta $、ヘッセ行列固有値に関する仮定のもとで、位相空間におけるヘヴィーボール写像が双曲的であることを証明する。
• 積分子方程式における残差項を用いて、離散的アルゴリズムとODE軌道との間の誤差バウンドを導出し、1ステップあたり $ \mathcal{O}(h^2) $ の局所誤差であることを示す。
• 連続的Lyapunov関数から離散的Lyapunov関数を再構築する必要がなくなるため、Lyapunov関数に依存しない解析を採用し、トポロジカル同値性に焦点を当てる。
• 機械学習問題における実験を通じて理論的発見を検証し、提示された条件下で離散的アルゴリズムの反復とODEフローの間の実証的整合性を示す。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法（GD）およびヘヴィーボール法（HB）の離散的反復が、それらに対応するODEモデルのシャドーと見なせる条件は何か？
• RQ2 通常のODE近似では見られる指数的誤差増大を、初期条件のわずかな摂動によって緩和できるか？
• RQ3 力学系理論における双曲性およびシャドーイングの理論が、機械学習における最適化アルゴリズムにどのように適用できるか？
• RQ4 連続時間ODE解析を、離散最適化における収束保証の導出や新規アルゴリズムの考案にどの程度信頼性を持って用いることができるか？
• RQ5 目的関数が強く凸であるか、または双曲的鞍点付近にある場合に、最適化アルゴリズムに対してシャドーイングが可能か？

主な発見

• 目的関数が強く凸であるか、または双曲的鞍点付近にある場合、勾配降下法（GD）およびヘヴィーボール法（HB）のアルゴリズムは、それらのODE対応物をシャドーイングする。
• ステップサイズ $ h \leq \sqrt{2/L} $ およびモーメンタムパラメータ $ \beta = 1 - \alpha h \in [0,1) $ の条件下で、シャドーイング性が成立し、離散写像が線形双曲的であることが保証される。
• 二次的目的関数に対しては、ヘヴィーボール法の離散写像が、ヘッセ行列の固有値がゼロでない場合、かつステップサイズとモーメンタムが上記制約を満たす場合、位相空間で線形双曲的であることが証明されている。
• 離散的アルゴリズムとODE軌道との間の誤差は、1ステップあたり $ \mathcal{O}(h^2) $ で抑えられ、時間に比例して誤差が線形に増大するが、指数的爆発は回避される。
• 理論的結果は、機械学習問題において実証的に支持されており、提示された条件下でアルゴリズムの反復とODE軌道の間の密接な一致が観察されている。
• 本研究は、最適化におけるシャドーイング理論の応用を画期的に始めたものであり、連続的・離散的ダイナミクスを結ぶ、Lyapunov関数に依存しない新たなフレームワークを提供している。