[論文レビュー] Fast Convergence of an Inertial Gradient-like System with Vanishing Viscosity

Juan Peypouquet-Urbaneja|arXiv (Cornell University)|Jul 16, 2015

Advanced Mathematical Modeling in Engineering参考文献 25被引用数 16

ひとこと要約

本稿は、減衰が時間とともに消える第二階微分型慣性力学系を分析し、α > 3 のとき、実ヒルバート空間における凸で連続的に微分可能な関数 Φ の最小化子に軌道が弱収束することを示している。目的関数値の収束速度が O(t⁻²) であることも確立し、ネステロフ型高速法を拡張し、時間離散化によって得られる高速最適化アルゴリズムの連続時間的基盤を提供する。

ABSTRACT

In a real Hilbert space $\mathcal H$, we study the fast convergence properties as $t o + \infty$ of the trajectories of the second-order evolution equation $$ \ddot{x}(t) + \frac{\alpha}{t} \dot{x}(t) + abla \Phi (x(t)) = 0, $$ where $ abla \Phi$ is the gradient of a convex continuously differentiable function $\Phi : \mathcal H ightarrow \mathbb R$, and $\alpha$ is a positive parameter. In this inertial system, the viscous damping coefficient $\frac{\alpha}{t}$ vanishes asymptotically in a moderate way. For $\alpha > 3$, we show that any trajectory converges weakly to a minimizer of $\Phi$, just assuming that the set of minimizers is nonempty. The strong convergence is established in various practical situations. These results complement the $\mathcal O(t^{-2})$ rate of convergence for the values obtained by Su, Boyd and Candes. Time discretization of this system, and some of its variants, provides new fast converging algorithms, expanding the field of rapid methods for structured convex minimization introduced by Nesterov, and further developed by Beck and Teboulle. This study also complements recent advances due to Chambolle and Dossal.

研究の動機と目的

• 時間変動する減衰を有する第二階微分型慣性系によって生成される軌道の漸近的収束挙動を分析すること。
• 実ヒルバート空間における凸関数 Φ の最小化子への軌道の弱収束および強収束を確立すること。
• 目的関数値 Φ(x(t)) の収束速度を O(t⁻²) として導出することにより、ネステロフの高速勾配法と一致させること。
• 時間離散化を用いて連続時間系を離散的高速最適化アルゴリズムに接続すること。
• 最近の慣性系に関する結果を、減衰が時間とともに消えることと、収束条件の一般化を組み合わせることで拡張すること。

提案手法

• 実ヒルバート空間 H における第二階微分方程式：ÿ(t) + (α/t) ẋ(t) + ∇Φ(x(t)) = 0 を分析する。
• エネルギー関数の減衰を調べるために、リャプノフ解析とエネルギー法を用いる。
• α > 3 のパラメータ条件を適用し、Φ の最小化子への軌道の弱収束を保証する。
• Φ に一様凸性や部分集合の有界性といった追加の構造的仮定を課すことにより、強収束を確立する。
• エネルギー関数の減衰を分析することで、Φ(x(t)) − min Φ の O(t⁻²) 収束速度を導出する。
• 連続系の時間離散化を実行し、新たな一次元の高速収束アルゴリズムを生成する。

実験結果

リサーチクエスチョン

• RQ1 減衰が時間とともに消える慣性系の軌道が、Φ の最小化子に弱収束する条件は何か？
• RQ2 t → ∞ のとき、目的関数値 Φ(x(t)) の収束速度は何か？
• RQ3 パラメータ α の選択が、この系の収束特性にどのように影響するか？
• RQ4 連続時間系を離散化することで、新たな高速収束最適化アルゴリズムが得られるか？
• RQ5 どのような設定で、弱収束ではなく強収束が保証されるか？

主な発見

• α > 3 のとき、最小化子集合が空でない限り、系の任意の軌道は Φ の最小化子に弱収束する。
• 目的関数値 Φ(x(t)) は、最良の既知のネステロフの高速勾配法と一致する O(t⁻²) の速度で最適値に収束する。
• Φ の一様凸性や部分集合の有界性といった追加仮定のもとで、軌道の強収束が確立される。
• 系の時間離散化により、凸最小化のための高速収束を示す新たな一次元アルゴリズムが得られ、高速法のクラスが拡張される。
• チョムボールとドッサルの最近の慣性系に関する結果（減衰が時間とともに消える場合）を補完・一般化する。
• 本系は、高速最適化法の連続時間的解釈を提供し、既存の枠組みを統合・拡張する。