[論文レビュー] Acceleration via Symplectic Discretization of High-Resolution Differential Equations

Bin Shi, Simon S. Du+2 more|arXiv (Cornell University)|Feb 11, 2019

Stochastic Gradient Optimization Techniques参考文献 15被引用数 44

ひとこと要約

本論文は、ネステロフの加速法とポヤークのヘビーボール法の高解像度ODEを離散化することによる一階最適化を研究し、シンプレクティック離散化が強凸および凸目的関数に対して加速速度をもたらす一方、明示的または低解像度の離散化ではそうならないことを示す。

ABSTRACT

We study first-order optimization methods obtained by discretizing ordinary differential equations (ODEs) corresponding to Nesterov's accelerated gradient methods (NAGs) and Polyak's heavy-ball method. We consider three discretization schemes: an explicit Euler scheme, an implicit Euler scheme, and a symplectic scheme. We show that the optimization algorithm generated by applying the symplectic scheme to a high-resolution ODE proposed by Shi et al. [2018] achieves an accelerated rate for minimizing smooth strongly convex functions. On the other hand, the resulting algorithm either fails to achieve acceleration or is impractical when the scheme is implicit, the ODE is low-resolution, or the scheme is explicit.

研究の動機と目的

• 高解像度ODEを離散化することが、加速された一階最適化法を生み出すかどうかを動機づけ、分析する。
• 高解像度および低解像度ODEで、3つの単純な離散化スキーム（シンプレクティックオイラー、明示的オイラー、陰的オイラー）を比較する。
• リャプノフに基づく解析を用いて、離散化によって加速が保存されるのか、それとも喪失されるのかを確立する。
• 安定な加速離散化を可能にする高解像度ODEと勾配補正項の役割を明らかにする。

提案手法

• NAG-C、NAG-SC、ヘビーボールの高解像度ODEを三つのスキーム（シンプレクティックオイラー（S）、明示的オイラー（E）、陰的オイラー（I））で離散化して加速法をモデル化する。
• ODEの位相空間表現を用い、各スキーム（S）、（E）、（I）の離散更新式を導出する。
• リャプノフ関数解析を適用して、離散スキームの収束速度を得る。
• 高解像度ODE（NAG-SC、NAG-C）と低解像度ODE（ヘビーボール）にまたがる加速挙動を比較する。
• シンプレクティック離散化が高解像度ODEの加速を保持することを示し、一方で明示的/陰的スキームは限界を示す。

実験結果

リサーチクエスチョン

• RQ1 NAG-SCおよびNAG-Cの高解像度ODEを離散化する際、シンプレクティックオイラー離散化は加速特性を保持するか？
• RQ2 明示的または陰的オイラー離散化は加速を達成するか、どの条件で実用的か？
• RQ3 高解像度ODEの離散化は、低解像度ODE（例：ヘビーボール）の離散化と比べて、加速を達成する点でどう異なるか？
• RQ4 これらの離散化に対する離散時間加速結果の証明において、リャプノフ関数が果たす役割は？
• RQ5 高解像度ODEとシンプレクティックスキームが、新しい加速最適化アルゴリズム設計に与える示唆は？

主な発見

• 高解像度NAG-SC ODEのシンプレクティックオイラー離散化は、適切なステップサイズに対して、f(x_k)−f(x*) ≤ O(1)/(1+O(1)√(μ/L))^k のような速度界を持つ加速を達成する。
• 明示的オイラー離散化は高解像度NAG-SC ODEで加速を達成できず、ただし実装は単純である。
• 陰的オイラー離散化は加速を達成するが、一般には実用的でない（例：二次目的など特別な場合を除く）。
• 低解像度ヘビーボールODEを任意のオイラースキームで離散化しても加速を生まない。
• 凸関数に対しても、シンプレクティック離散化は他の二つのスキームよりも同様に優れた速度を示し、高解像度設定における勾配補正の役割を強調する。
• 本論文は、高解像度ODEとシンプレクティック離散化が、安定で大きなステップを取る加速的離散時間法を可能にすることを強調している。