[論文レビュー] Fast inertial dynamics and FISTA algorithms in convex optimization. Perturbation aspects

Hédy Attouch, Zaki Chbani|arXiv (Cornell University)|Jul 6, 2015

Optimization and Variational Analysis参考文献 26被引用数 13

ひとこと要約

本稿は、減衰項が時間に依存して消失する場合および摂動が存在する場合の凸最適化における慣性勾配ダイナミクスおよびFISTA型アルゴリズムの高速収束レートを確立する。$\alpha \geq 3$ かつ可積分な摂動 $g(t)$ を持つ2階微分方程式の軌道が $\Phi(x(t)) - \min \Phi \leq C/t^2$ を満たすことを証明し、ネステロフの高速収束を摂動付きの設定に拡張するとともに、誤差モデル下での離散的アルゴリズムに対する収束保証を提供する。

ABSTRACT

In a Hilbert space setting $\mathcal H$, we study the fast convergence properties as $t o + \infty$ of the trajectories of the second-order differential equation $ \ddot{x}(t) + \fracα{t} \dot{x}(t) + abla Φ(x(t)) = g(t)$, where $ ablaΦ$ is the gradient of a convex continuously differentiable function $Φ: \mathcal H o \mathbb R$, $α$ is a positive parameter, and $g: [t_0, + \infty[ ightarrow \mathcal H$ is a "small" perturbation term. In this damped inertial system, the viscous damping coefficient $\fracα{t}$ vanishes asymptotically, but not too rapidly. For $α\geq 3$, and $\int_{t_0}^{+\infty} t \|g(t)\| dt < + \infty$, just assuming that the solution set is non empty, we show that any trajectory of the above system satisfies the fast convergence property $Φ(x(t))- \min_{\mathcal H}Φ\leq \frac{C}{t^2}$. For $α> 3$, we show that any trajectory converges weakly to a minimizer of $Φ$, and we show the strong convergence property in various practical situations. This complements the results obtained by Su-Boyd- Candès, and Attouch-Peypouquet-Redont, in the unperturbed case $g=0$. The parallel study of the time discretized version of this system provides new insight on the effect of errors, or perturbations on Nesterov's type algorithms. We obtain fast convergence of the values, and convergence of the trajectories for a perturbed version of the variant of FISTA recently considered by Chambolle-Dossal, and Su-Boyd-Candès.

研究の動機と目的

• ヒルバート空間における漸近的に消失する粘性項 $\alpha/t$ と小さな摂動 $g(t)$ を持つ2階慣性ダイナミクスの漸近的挙動を分析すること。
• ネステロフ法およびFISTAの高速 $O(1/t^2)$ 収束レートを、摂動またはアルゴリズム的誤差を含む系へ拡張すること。
• $\alpha > 3$ の場合に摂動下でも軌道が最小化子へ弱収束することを確立し、未解決の $\alpha = 3$ の場合を明確にすること。
• 誤差モデル下で連続時間の慣性ダイナミクスと離散的FISTA型アルゴリズム（特にChambolle-Dossalの変種）を結びつけること。
• 小さな摂動または数値誤差下でも高速勾配法のロバスト性を理解するための理論的枠組みを提供すること。

提案手法

• ヒルバート空間 $\mathcal{H}$ における2階微分方程式 $\ddot{x}(t) + \frac{\alpha}{t}\dot{x}(t) + \nabla\Phi(x(t)) = g(t)$ を分析し、$\Phi$ は凸的であり、$\nabla\Phi$ はリプシッツ連続である。
• 最適解からの距離と目的関数値を追跡するために、Lyapunov関数 $h_k = \Phi(x_k) + \frac{1}{2}\|x_k - x^*\|^2$ を用いる。
• 収束を分析するための離散的再帰不等式 $h_{k+1} - h_k - \gamma_k(h_k - h_{k-1}) \leq \omega_k$ を導出する。ここで $\gamma_k = \frac{k-1}{k+\alpha-1}$ である。
• 離散版の積分比較補題（補題5.4）を適用し、差分 $h_k - h_{k-1}$ の正の部分の和が可 summable であることを示し、$h_k$ の収束を示す。
• 摂動の影響を制御するため、$\int_{t_0}^{\infty} t\|g(t)\|dt < \infty$ および $\sum_k k\|g_k\| < \infty$ の仮定に依存する。
• 慣性減衰の構造とエネルギー推定を用いて、$\Phi(x(t)) - \min \Phi$ の減衰をバインドすることで、$O(1/t^2)$ の収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 摂動 $g(t)$ を伴う慣性系 $\ddot{x}(t) + \frac{\alpha}{t}\dot{x}(t) + \nabla\Phi(x(t)) = g(t)$ に対して、目的関数値 $\Phi(x(t))$ の収束レートは何か？
• RQ2 ${\alpha > 3}$ かつ $g(t)$ が小さいとき、軌道 $x(t)$ が $\Phi$ の最小化子へ弱収束するための条件は何か？
• RQ3 摂動またはアルゴリズム的誤差は、FISTA型アルゴリズムの高速 $O(1/t^2)$ 収束にどのように影響するか？
• RQ4 Chambolle-Dossalの変種のように誤差が導入された離散的アルゴリズムにおいて、$O(1/t^2)$ の収束レートは保持されるか？
• RQ5 パラメータ $\alpha$ は、慣性ダイナミクスにおける減衰の減衰と収束速度のバランスをどのように果たすか？

主な発見

• $\alpha \geq 3$ かつ $\int_{t_0}^{\infty} t\|g(t)\|dt < \infty$ の下で、目的関数値は $\Phi(x(t)) - \min_{\mathcal{H}}\Phi \leq \frac{C}{t^2}$ を満たし、高速な $O(1/t^2)$ 収束が確立される。
• $\alpha > 3$ の場合、系の任意の軌道は $\Phi$ の最小化子へ弱収束する。これは、摂動なしの状況における収束結果を拡張する。
• 離散時間系の類似物は、同じ摂動仮定下でも目的関数値に対して $O(1/t^2)$ の収束レートを保持する。
• 離散アルゴリズムの軌道収束は $\alpha > 3$ の下で確立されているが、$\alpha = 3$（ネステロフ法に対応）の場合は未解決のままである。
• 解析により、摂動が重み付き可積分性 $\sum_k k\|g_k\| < \infty$ を満たす限り、小さな摂動や誤差が高速収束レートを破壊しないことが示された。
• 証明は、巧みに構築されたLyapunov関数と、列 $h_k = \Phi(x_k) + \frac{1}{2}\|x_k - x^*\|^2$ の減衰を制御する離散和分可能性補題に依存する。