[论文解读] Rate of convergence of the Nesterov accelerated gradient method in the subcritical case $\alpha \leq 3$

Hédy Attouch|arXiv (Cornell University)|Jan 1, 2018

Sparse and Compressive Sensing Techniques参考文献 25被引用 4

一句话总结

本文在亚临界情形 α ≤ 3 下建立了Nesterov加速梯度法的收敛速率，证明了连续 (AVD)α 系统满足 Φ(x(t)) − min Φ = O(t⁻²ᵃ⁄³)。该结果被推广至惯性前向-后向算法，表明当 α ≤ 3 时，对所有 p < 2α/3，收敛速率为 O(k⁻ᵖ)，并展示了对扰动的鲁棒性，完整描绘了收敛速率随阻尼参数 α 变化的连续变化图景。

ABSTRACT

(&lt;em&gt;Based on a joint work with Z. Chbani and H. Riahi&lt;/em&gt;)&lt;br&gt; In a Hilbert space setting $\mathcal{H}$, given $\Phi: \mathcal H o \mathbb R$ a convex continuously differentiable function, and $\alpha$ a positive parameter, we first study the asymptotic behavior of the inertial system with Asymptotic Vanishing Damping $$ \mbox{(AVD)}_{\alpha} \quad \quad \ddot{x}(t) + \frac{\alpha}{t} \dot{x}(t) + abla \Phi (x(t)) =0, $$ and then the associated inertial algorithms.&lt;br&gt; Depending on the value of $ \alpha $ with respect to 3, and based on new Lyapunov functions, we give a complete picture of the convergence properties as $t o + \infty$ of the trajectories generated by $\mbox{(AVD)}_{\alpha}$. As shown by Su-Boyd-Cand&amp;egrave;s, the case $\alpha = 3$ corresponds to a continuous version of the accelerated gradient method of Nesterov, with the convergence rate $\Phi (x(t))-\min \Phi = \mathcal O (t^{-2})$. Our main result concerns the subcritical case $\alpha \leq 3$, where we show that $\Phi (x(t))-\min \Phi = \mathcal O (t^{-\frac{2}{3}\alpha})$. When $\alpha &gt; 3$, we find the recent results by May and A-Chbani-Peypouquet-Redont concerning the weak convergence of the trajectories, and the convergence of the values with the order $o\left(t^{-2} ight)$. This overall picture shows a continuous variation of the rate of convergence of the values $\Phi(x(t))-\min_\mathcal H \Phi= \mathcal O (t^{-p(\alpha)}) $ with respect to $\alpha &gt;0$: the coefficient $p(\alpha)$ increases linearly up to 2 when $\alpha$ goes from $0$ to $3$, then displays a plateau. We also consider the convergence of trajectories in the critical case $ \alpha = $ 3, with a positive response in some particular cases.&lt;br&gt; Then we consider structured convex minimization problems of the form $\min \left\lbrace \Theta:= \Phi + \Psi ight brace$, with $\Phi$ smooth and $\Psi$ nonsmooth. As a major property, the Lyapunov analysis of the continuous dynamics serves as a guideline for the study of the associated forward-backward inertial algorithms. We obtain a similar convergence rate for the sequence of iterates $(x_k)$: for $\alpha &lt; 3$ we have $\Theta (x_k)-\min \Theta = \mathcal O (k^{-p})$ for all $p &lt;\frac{2\alpha}{3}$, for $\alpha = 3$ \ $\Theta (x_k)-\min \Theta = \mathcal O (k^{-2})$ (FISTA, Beck-Teboulle, 2009), and for $\alpha &gt; 3$ \ $\Theta (x_k)-\min \Theta = o (k^{-2})$ (A-Peypouquet, 2016). We conclude this study by showing that the results are robust with respect to external perturbations.&lt;br&gt; &lt;br&gt; &lt;dl&gt; &lt;dt&gt;[1]&lt;/dt&gt; &lt;dd&gt;H. Attouch, Z. Chbani, J. Peypouquet, P. Redont, &lt;i&gt;Fast convergence of inertial dynamics and algorithms with asymptotic vanishing damping&lt;/i&gt;, to appear in Math. Program. DOI: 10.1007/s10107-016-0992-8.&lt;/dd&gt; &lt;dt&gt;[2]&lt;/dt&gt; &lt;dd&gt;H. Attouch, J. Peypouquet, &lt;i&gt;The rate of convergence of Nesterov's accelerated forward-backward method is actually faster than $\frac{1}{k^2}$&lt;/i&gt;, SIAM J. Optim., 26 (2016), No. 3, pp. 1824-1834.&lt;/dd&gt; &lt;dt&gt;[3]&lt;/dt&gt; &lt;dd&gt; A. Beck, M. Teboulle, &lt;i&gt;A fast iterative shrinkage-thresholding algorithm for linear inverse problems&lt;/i&gt;, SIAM J. Imaging Sci., 2 (2009), No. 1, pp. 183-202.&lt;/dd&gt; &lt;dt&gt;[4]&lt;/dt&gt; &lt;dd&gt; A. Chambolle, C. Dossal, &lt;i&gt;On the convergence of the iterates of the “Fast Iterative Shrinkage/Thresholding Algorithm”&lt;/i&gt;, Journal of Optimization Theory and Applications, 166 (2015), pp. 968-982&lt;/dd&gt; &lt;dt&gt;[5]&lt;/dt&gt; &lt;dd&gt; Y. Nesterov, &lt;i&gt;Introductory lectures on convex optimization: A basic course&lt;/i&gt;, volume 87 of Applied Optimization. Kluwer Academic Publishers, Boston, MA, 2004&lt;/dd&gt; &lt;/dl&gt;

研究动机与目标

• 刻画在阻尼参数 α ≤ 3 的亚临界区域中，Nesterov加速梯度法的收敛速率，此前该速率尚不明确。
• 将连续动力系统 (AVD)α 扩展至包含光滑与非光滑分量的结构化凸优化问题。
• 推导相应惯性前向-后向算法的收敛速率，并建立对扰动的鲁棒性。
• 完整描绘收敛速率随阻尼参数 α 的变化图景，展示从 α → 0 到 α = 3 的连续过渡。

提出的方法

• 分析希尔伯特空间 H 中的二阶微分方程 (AVD)α：¨x(t) + (α/t)˙x(t) + ∇Φ(x(t)) = 0。
• 引入一个定制的李雅普诺夫函数 E(t) = t²ᵖ[Φ(x(t)) − min Φ] + ∥λ(t)(x(t) − z) + tᵖ˙x(t)∥² 以研究能量衰减。
• 使用时变阻尼系数 γ(t) = α/t 来建模Nesterov方法的连续版本。
• 通过引入非光滑函数的次微分 ∂Ψ，将连续动力系统适配至前向-后向框架。
• 应用柯西-施瓦茨不等式与积分估计以控制扰动影响，证明在外部扰动下的鲁棒性。
• 通过将连续系统进行时间离散化，推导出离散收敛速率，得到惯性前向-后向算法 (IFB)α。

实验结果

研究问题

• RQ1 当阻尼参数 α 小于或等于 3（临界值）时，Nesterov加速梯度法的收敛速率是什么？
• RQ2 连续 (AVD)α 系统的收敛速率如何随 α > 0 连续变化？
• RQ3 连续动力系统的收敛性质能否推广至结构化凸问题的惯性前向-后向算法？
• RQ4 外部扰动如何影响 (AVD)α 系统及其离散对应物的收敛速率？
• RQ5 在临界情形 α = 3 下，是否无需额外假设即可保证轨迹收敛到最优解？

主要发现

• 当 α ≤ 3 时，连续 (AVD)α 系统达到收敛速率 Φ(x(t)) − min Φ = O(t⁻²ᵃ⁄³)，表明随着 α 从 3 降低，收敛速率持续减小。
• 在临界情形 α = 3 时，本文在不施加对 Φ 的限制性假设下证明了轨迹收敛到最优解，扩展了先前结果。
• 对于惯性前向-后向算法 (IFB)α，当 α ≤ 3 时，对所有 p < 2α/3，有 Θ(xk) − min Θ = O(k⁻ᵖ)。
• 当 α > 3 时，算法实现 o(k⁻²) 收敛，与已知的 FISTA 快速速率一致。
• 结果对扰动具有鲁棒性：若 ∫ₜ₀^∞ tᵖg(t)dt < ∞，则 Φ(x(t)) − min Φ = O(t⁻²ᵖ)，其中 p = min(1, α/3)。
• 本文完整建立了收敛速率关于 α 的图景，其中 p(α) = 2α/3 从 α = 0 到 α = 3 线性增加，从 0 增至 2，之后在 α > 3 时保持为 2。