[論文レビュー] Rate of convergence of the Nesterov accelerated gradient method in the subcritical case $\alpha \leq 3$

Hédy Attouch|arXiv (Cornell University)|Jan 1, 2018

Sparse and Compressive Sensing Techniques参考文献 25被引用数 4

ひとこと要約

本稿は、サブクリティカルな場合 α ≤ 3 におけるネステロフ加速勾配法の収束速度を確立し、連続的（AVD）α 系において Φ(x(t)) − min Φ = O(t⁻²ᵃ⁄³) が成り立つことを証明する。この結果を慣性付き前進後退アルゴリズムに拡張し、α ≤ 3 のときすべての p < 2α/3 に対して O(k⁻ᵖ) の収束速度を示し、摂動に対してロバストであることを示し、α に関する連続的収束速度の変化の全体像を完成させる。

ABSTRACT

(&lt;em&gt;Based on a joint work with Z. Chbani and H. Riahi&lt;/em&gt;)&lt;br&gt; In a Hilbert space setting $\mathcal{H}$, given $\Phi: \mathcal H o \mathbb R$ a convex continuously differentiable function, and $\alpha$ a positive parameter, we first study the asymptotic behavior of the inertial system with Asymptotic Vanishing Damping $$ \mbox{(AVD)}_{\alpha} \quad \quad \ddot{x}(t) + \frac{\alpha}{t} \dot{x}(t) + abla \Phi (x(t)) =0, $$ and then the associated inertial algorithms.&lt;br&gt; Depending on the value of $ \alpha $ with respect to 3, and based on new Lyapunov functions, we give a complete picture of the convergence properties as $t o + \infty$ of the trajectories generated by $\mbox{(AVD)}_{\alpha}$. As shown by Su-Boyd-Cand&amp;egrave;s, the case $\alpha = 3$ corresponds to a continuous version of the accelerated gradient method of Nesterov, with the convergence rate $\Phi (x(t))-\min \Phi = \mathcal O (t^{-2})$. Our main result concerns the subcritical case $\alpha \leq 3$, where we show that $\Phi (x(t))-\min \Phi = \mathcal O (t^{-\frac{2}{3}\alpha})$. When $\alpha &gt; 3$, we find the recent results by May and A-Chbani-Peypouquet-Redont concerning the weak convergence of the trajectories, and the convergence of the values with the order $o\left(t^{-2} ight)$. This overall picture shows a continuous variation of the rate of convergence of the values $\Phi(x(t))-\min_\mathcal H \Phi= \mathcal O (t^{-p(\alpha)}) $ with respect to $\alpha &gt;0$: the coefficient $p(\alpha)$ increases linearly up to 2 when $\alpha$ goes from $0$ to $3$, then displays a plateau. We also consider the convergence of trajectories in the critical case $ \alpha = $ 3, with a positive response in some particular cases.&lt;br&gt; Then we consider structured convex minimization problems of the form $\min \left\lbrace \Theta:= \Phi + \Psi ight brace$, with $\Phi$ smooth and $\Psi$ nonsmooth. As a major property, the Lyapunov analysis of the continuous dynamics serves as a guideline for the study of the associated forward-backward inertial algorithms. We obtain a similar convergence rate for the sequence of iterates $(x_k)$: for $\alpha &lt; 3$ we have $\Theta (x_k)-\min \Theta = \mathcal O (k^{-p})$ for all $p &lt;\frac{2\alpha}{3}$, for $\alpha = 3$ \ $\Theta (x_k)-\min \Theta = \mathcal O (k^{-2})$ (FISTA, Beck-Teboulle, 2009), and for $\alpha &gt; 3$ \ $\Theta (x_k)-\min \Theta = o (k^{-2})$ (A-Peypouquet, 2016). We conclude this study by showing that the results are robust with respect to external perturbations.&lt;br&gt; &lt;br&gt; &lt;dl&gt; &lt;dt&gt;[1]&lt;/dt&gt; &lt;dd&gt;H. Attouch, Z. Chbani, J. Peypouquet, P. Redont, &lt;i&gt;Fast convergence of inertial dynamics and algorithms with asymptotic vanishing damping&lt;/i&gt;, to appear in Math. Program. DOI: 10.1007/s10107-016-0992-8.&lt;/dd&gt; &lt;dt&gt;[2]&lt;/dt&gt; &lt;dd&gt;H. Attouch, J. Peypouquet, &lt;i&gt;The rate of convergence of Nesterov's accelerated forward-backward method is actually faster than $\frac{1}{k^2}$&lt;/i&gt;, SIAM J. Optim., 26 (2016), No. 3, pp. 1824-1834.&lt;/dd&gt; &lt;dt&gt;[3]&lt;/dt&gt; &lt;dd&gt; A. Beck, M. Teboulle, &lt;i&gt;A fast iterative shrinkage-thresholding algorithm for linear inverse problems&lt;/i&gt;, SIAM J. Imaging Sci., 2 (2009), No. 1, pp. 183-202.&lt;/dd&gt; &lt;dt&gt;[4]&lt;/dt&gt; &lt;dd&gt; A. Chambolle, C. Dossal, &lt;i&gt;On the convergence of the iterates of the “Fast Iterative Shrinkage/Thresholding Algorithm”&lt;/i&gt;, Journal of Optimization Theory and Applications, 166 (2015), pp. 968-982&lt;/dd&gt; &lt;dt&gt;[5]&lt;/dt&gt; &lt;dd&gt; Y. Nesterov, &lt;i&gt;Introductory lectures on convex optimization: A basic course&lt;/i&gt;, volume 87 of Applied Optimization. Kluwer Academic Publishers, Boston, MA, 2004&lt;/dd&gt; &lt;/dl&gt;

研究の動機と目的

• パラメータ α ≤ 3 のサブクリティカル領域におけるネステロフ加速勾配法の収束速度を特定すること。この領域における収束速度は、以前は未知であった。
• 滑らかでない成分を含む構造的凸最適化問題に、連続的ダイナミクス（AVD）α を拡張すること。
• 対応する慣性付き前進後退アルゴリズムの収束速度を導出し、摂動に対してロバストであることを確立すること。
• 減衰パラメータ α に関する収束速度の変化の全体像を完成させ、α → 0 から α = 3 への連続的遷移を示すこと。

提案手法

• ヒルバート空間 H における2階微分方程式 (AVD)α: ¨x(t) + (α/t)˙x(t) + ∇Φ(x(t)) = 0 を分析する。
• エネルギーの減衰を研究するために、特化したリャプノフ関数 E(t) = t²ᵖ[Φ(x(t)) − min Φ] + ∥λ(t)(x(t) − z) + tᵖ˙x(t)∥² を導入する。
• 連続的ネステロフ法のモデルとして、時間依存の減衰係数 γ(t) = α/t を用いる。
• 滑らかでない関数のための多価微分 ∂Ψ を組み込むことで、前進後退設定への連続的ダイナミクスの適応を行う。
• コーシー・シュワルツと積分推定を適用し、摂動の影響を抑え、外部摂動下でのロバスト性を証明する。
• 連続系を時間離散化することで、慣性付き前進後退アルゴリズム（IFB）α に変換し、離散的収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 減衰パラメータ α が 3 以下のサブクリティカルな場合、ネステロフ加速勾配法の収束速度はどのようになるか？
• RQ2 連続的（AVD）α 系の収束速度は、α > 0 に対してどのように連続的に変化するか？
• RQ3 連続的ダイナミクスの収束特性は、構造的凸問題に対する慣性付き前進後退アルゴリズムへ拡張可能か？
• RQ4 外部摂動は、（AVD）α 系およびその離散的同等物の収束速度にどのように影響するか？
• RQ5 追加の仮定なしに、臨界ケース α = 3 において、軌道が最適解に収束することが保証されるか？

主な発見

• α ≤ 3 の場合、連続的（AVD）α 系は、Φ(x(t)) − min Φ = O(t⁻²ᵃ⁄³) の収束速度を達成し、α が 3 から減少するに従い、収束速度が連続的に低下することが示された。
• 臨界ケース α = 3 において、Φ に関する制限的仮定なしに、軌道が最適解に収束することを証明した。これは、先行研究を拡張するものである。
• 慣性付き前進後退アルゴリズム（IFB）α において、α ≤ 3 のときすべての p < 2α/3 に対して、Θ(xk) − min Θ = O(k⁻ᵖ) の収束速度が成り立つ。
• α > 3 の場合、アルゴリズムは o(k⁻²) の収束速度を達成し、FISTA の既知の高速収束率と一致する。
• 摂動に対して結果はロバストである：∫ₜ₀^∞ tᵖg(t)dt < ∞ ならば、Φ(x(t)) − min Φ = O(t⁻²ᵖ) が成り立ち、p = min(1, α/3) である。
• 本稿は、α の関数としての収束速度の完全な画像を確立した。p(α) = 2α/3 は、α が 0 から 3 に増加するに従い、0 から 2 まで線形に増加し、α > 3 では 2 で一定に保たれる。