[論文レビュー] On Accelerated Methods in Optimization

Andre Wibisono, Ashia Wilson|arXiv (Cornell University)|Sep 11, 2015

Stochastic Gradient Optimization Techniques参考文献 6被引用数 14

ひとこと要約

本稿は、高階勾配法を再スケーリング勾配フローに、加速法を2階Nesterov型微分方程式に結びつけることで、連続時間枠組みを確立する。加速アルゴリズムが離散時間で $O(1/k^p)$ の収束速度を達成することを証明し、連続時間の対応物と同一の $O(1/t^p)$ となることを示し、基礎となるラグランジアン族の時間拡大不変性を通じて普遍性を示す。

ABSTRACT

In convex optimization, there is an {\em acceleration} phenomenon in which we can boost the convergence rate of certain gradient-based algorithms. We can observe this phenomenon in Nesterov's accelerated gradient descent, accelerated mirror descent, and accelerated cubic-regularized Newton's method, among others. In this paper, we show that the family of higher-order gradient methods in discrete time (generalizing gradient descent) corresponds to a family of first-order rescaled gradient flows in continuous time. On the other hand, the family of {\em accelerated} higher-order gradient methods (generalizing accelerated mirror descent) corresponds to a family of second-order differential equations in continuous time, each of which is the Euler-Lagrange equation of a family of Lagrangian functionals. We also study the exponential variant of the Nesterov Lagrangian, which corresponds to a generalization of Nesterov's restart scheme and achieves a linear rate of convergence in discrete time. Finally, we show that the family of Lagrangians is closed under time dilation (an orbit under the action of speeding up time), which demonstrates the universality of this Lagrangian view of acceleration in optimization.

研究の動機と目的

• 連続時間力学系を通じて高階および加速最適化法を統一すること。
• 連続時間フローを用いた凸最適化における加速現象の解明。
• 離散加速アルゴリズムと2階オイラー＝ラグランジュ方程式との対応関係の確立。
• Nesterovラグランジアンの指数的変種を用いてNesterovの再起動スキームを一般化すること。
• 加速法に内在するラグランジアン族が時間拡大に対して閉じていることの証明を通じて、連続時間的視点の普遍性を示すこと。

提案手法

• 離散的高階勾配法に対応する連続時間の1階再スケーリング勾配フロー族を導出する。
• 加速された高階法に対応する2階微分方程式族（Nesterovフロー）を導入する。
• オイラー＝ラグランジュ形式を用いて、Nesterovフローをラグランジアン汎関数の変分原理として導出する。
• 離散時間ステップと連続的ダイナミクスを一致させるために、時間スケーリング $t = \epsilon^{1/p} k^p$ を適用する。
• Nesterovラグランジアンの指数的変種を導入し、再起動スキームの一般化を図る。
• ラグランジアン族が時間拡大に対して不変であることを示し、構造的普遍性を示す。

実験結果

リサーチクエスチョン

• RQ1 高階勾配法は、どのように連続時間再スケーリング勾配フローの離散化として解釈できるか？
• RQ2 Nesterovの方法のような加速された高階法に対応する連続時間2階微分方程式は何か？
• RQ3 連続時間の変分原理を用いて、Nesterovの再起動スキームを一般化できるか？
• RQ4 離散時間における加速法の収束速度は、その連続時間対応物のものとどのように関係するか？
• RQ5 加速法に内在するラグランジアン族は、時間スケーリング（拡大）に対して閉じているか？
• RQ6 時間拡大に対する不変性を通じて、ラグランジアンフレームワークの普遍性を示せるか？

主な発見

• $p$ 階加速勾配法は、$\nabla^{(p-1)}f$ が $\frac{(p-1)!}{\epsilon}$-スムーズで $f$ が凸であるとき、収束速度 $O(1/\epsilon k^p)$ を達成する。
• 同じ凸性およびスムーズネスの仮定のもとで、対応する連続時間Nesterovフローは、$O(1/t^p)$ の一致する収束速度を示す。
• Nesterovフローは、$p$ に依存するラグランジアン汎関数のオイラー＝ラグランジュ方程式として導出され、Nesterovの元来のスキームを一般化する。
• Nesterovラグランジアンの指数的変種により、再起動スキームの一般化が可能となり、離散時間で線形収束が達成される。
• ラグランジアン族は時間拡大に対して閉じており、時間のスケーリングによって1つのラグランジアンが同じ族内の別のラグランジアンに変換されることを示し、構造的普遍性を示す。
• エネルギー汎関数 $E_t = (f(X_t) - f^*)^{-1/(p-1)}$ が、減少速度の下界を導出するのに用いられ、これにより $O(1/t^p)$ の収束バウンドが得られる。