[論文レビュー] A Dynamical Systems Perspective on Nesterov Acceleration

Michael Muehlebach, Michael I. Jordan|arXiv (Cornell University)|May 17, 2019

Numerical methods for differential equations参考文献 12被引用数 36

ひとこと要約

tldr: 本論文は、セミ・陰的オイラー法を用いて2階微分方程式を離散化することにより、Nesterovの加速を導出し、連続時間力学と離散時間力学のダイナミクスを解析する（曲率依存の減衰を伴う質量-ばね-ダンパ系）。

ABSTRACT

We present a dynamical system framework for understanding Nesterov's accelerated gradient method. In contrast to earlier work, our derivation does not rely on a vanishing step size argument. We show that Nesterov acceleration arises from discretizing an ordinary differential equation with a semi-implicit Euler integration scheme. We analyze both the underlying differential equation as well as the discretization to obtain insights into the phenomenon of acceleration. The analysis suggests that a curvature-dependent damping term lies at the heart of the phenomenon. We further establish connections between the discretized and the continuous-time dynamics.

研究の動機と目的

• Nesterov加速の基盤を、消失するステップサイズに依存せずに動的システムの観点で提供する。
• 曲率を考慮した質量-ばね-ダンパーODEを離散化することでNesterovの加速勾配法を導出する。
• 連続時間ダイナミクスと離散時間更新を結びつけ、カーブ依存減衰が加速に果たす役割を説明する。

提案手法

• 最適化のための質量-ばね-ダンパ系として作用する曲率依存の減衰項を持つ2階ODEを定式化する。
• 非消失ステップサイズを用いたODEの半陰的オイラー離散化を適用してNesterov加速を導出する。
• 幾何学的性質を保持するために、非保存性の力付けステップと対称オイラー（symplectic Euler）ステップに分解して離散化を行う。
• Ts in (0,1) において、離散化が位相空間の面積収縮を保持し、時間可逆性を保つことを示す。
• 強凸および非強凸設定のいずれにおいても収束速度をリ-Lyapunovに基づく解析で界づける。

実験結果

リサーチクエスチョン

• RQ1 Nesterov加速は、 vanishing step-size の極限ではなく、2階ODEを離散化することからどのように得られるのか？
• RQ2 曲率依存減衰は連続・離散ダイナミクスにおいて加速的収束を生み出す役割をどのように果たすのか？
• RQ3 連続系と離散系は位相空間の面積収縮や時間可逆性といった幾何学的性質を保持しているのか？
• RQ4 この動的フレームワークの下で、強凸および非強凸目的関数に対してどのような収束速度を確立できるのか？

主な発見

• Nesterov加速は、曲率依存減衰を持つ質量-ばね-ダンパ系をモデル化する特定の2階ODEを半陰的オイラー離散化することから生じる。
• 連続時間ダイナミクスは、強凸の場合は少なくとも1/(2√κ) − 1/(4κ)の速度で収束し、非強凸の場合はO(1/t^2)に減衰する。
• 離散的なダイナミクスは、Ts in (0,1) のとき位相空間の面積収縮を保持し、時間可逆である。
• Ts in (0,1] のとき、離散時間の軌道は少なくとも1 − Ts O(1/√κ)の速度で線形に収束する。
• 減衰項 Dx x˙x は曲率の局所平均として機能し、一定減衰と曲率依存減衰をバランスさせて加速を生み出す。