[논문 리뷰] Rate of convergence of the Nesterov accelerated gradient method in the subcritical case $\alpha \leq 3$

Hédy Attouch|arXiv (Cornell University)|2018. 01. 01.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 4

한 줄 요약

이 논문은 하위임계적 경우 α ≤ 3에서 네스테로프 가속 경사 하강법의 수렴 속도를 확립하며, 연속적 (AVD)α 시스템에서 Φ(x(t)) − min Φ = O(t⁻²ᵃ⁄³)임을 증명한다. 이 결과를 관성 전진-역행 알고리즘으로 확장하여 α ≤ 3일 때 모든 p < 2α/3에 대해 O(k⁻ᵖ) 수렴을 보이며, 외부 편향에 대한 강건성도 입증함으로써 α에 따른 연속적 수렴 속도 변화의 그림을 완성한다.

ABSTRACT

(&lt;em&gt;Based on a joint work with Z. Chbani and H. Riahi&lt;/em&gt;)&lt;br&gt; In a Hilbert space setting $\mathcal{H}$, given $\Phi: \mathcal H o \mathbb R$ a convex continuously differentiable function, and $\alpha$ a positive parameter, we first study the asymptotic behavior of the inertial system with Asymptotic Vanishing Damping $$ \mbox{(AVD)}_{\alpha} \quad \quad \ddot{x}(t) + \frac{\alpha}{t} \dot{x}(t) + abla \Phi (x(t)) =0, $$ and then the associated inertial algorithms.&lt;br&gt; Depending on the value of $ \alpha $ with respect to 3, and based on new Lyapunov functions, we give a complete picture of the convergence properties as $t o + \infty$ of the trajectories generated by $\mbox{(AVD)}_{\alpha}$. As shown by Su-Boyd-Cand&amp;egrave;s, the case $\alpha = 3$ corresponds to a continuous version of the accelerated gradient method of Nesterov, with the convergence rate $\Phi (x(t))-\min \Phi = \mathcal O (t^{-2})$. Our main result concerns the subcritical case $\alpha \leq 3$, where we show that $\Phi (x(t))-\min \Phi = \mathcal O (t^{-\frac{2}{3}\alpha})$. When $\alpha &gt; 3$, we find the recent results by May and A-Chbani-Peypouquet-Redont concerning the weak convergence of the trajectories, and the convergence of the values with the order $o\left(t^{-2} ight)$. This overall picture shows a continuous variation of the rate of convergence of the values $\Phi(x(t))-\min_\mathcal H \Phi= \mathcal O (t^{-p(\alpha)}) $ with respect to $\alpha &gt;0$: the coefficient $p(\alpha)$ increases linearly up to 2 when $\alpha$ goes from $0$ to $3$, then displays a plateau. We also consider the convergence of trajectories in the critical case $ \alpha = $ 3, with a positive response in some particular cases.&lt;br&gt; Then we consider structured convex minimization problems of the form $\min \left\lbrace \Theta:= \Phi + \Psi ight brace$, with $\Phi$ smooth and $\Psi$ nonsmooth. As a major property, the Lyapunov analysis of the continuous dynamics serves as a guideline for the study of the associated forward-backward inertial algorithms. We obtain a similar convergence rate for the sequence of iterates $(x_k)$: for $\alpha &lt; 3$ we have $\Theta (x_k)-\min \Theta = \mathcal O (k^{-p})$ for all $p &lt;\frac{2\alpha}{3}$, for $\alpha = 3$ \ $\Theta (x_k)-\min \Theta = \mathcal O (k^{-2})$ (FISTA, Beck-Teboulle, 2009), and for $\alpha &gt; 3$ \ $\Theta (x_k)-\min \Theta = o (k^{-2})$ (A-Peypouquet, 2016). We conclude this study by showing that the results are robust with respect to external perturbations.&lt;br&gt; &lt;br&gt; &lt;dl&gt; &lt;dt&gt;[1]&lt;/dt&gt; &lt;dd&gt;H. Attouch, Z. Chbani, J. Peypouquet, P. Redont, &lt;i&gt;Fast convergence of inertial dynamics and algorithms with asymptotic vanishing damping&lt;/i&gt;, to appear in Math. Program. DOI: 10.1007/s10107-016-0992-8.&lt;/dd&gt; &lt;dt&gt;[2]&lt;/dt&gt; &lt;dd&gt;H. Attouch, J. Peypouquet, &lt;i&gt;The rate of convergence of Nesterov's accelerated forward-backward method is actually faster than $\frac{1}{k^2}$&lt;/i&gt;, SIAM J. Optim., 26 (2016), No. 3, pp. 1824-1834.&lt;/dd&gt; &lt;dt&gt;[3]&lt;/dt&gt; &lt;dd&gt; A. Beck, M. Teboulle, &lt;i&gt;A fast iterative shrinkage-thresholding algorithm for linear inverse problems&lt;/i&gt;, SIAM J. Imaging Sci., 2 (2009), No. 1, pp. 183-202.&lt;/dd&gt; &lt;dt&gt;[4]&lt;/dt&gt; &lt;dd&gt; A. Chambolle, C. Dossal, &lt;i&gt;On the convergence of the iterates of the “Fast Iterative Shrinkage/Thresholding Algorithm”&lt;/i&gt;, Journal of Optimization Theory and Applications, 166 (2015), pp. 968-982&lt;/dd&gt; &lt;dt&gt;[5]&lt;/dt&gt; &lt;dd&gt; Y. Nesterov, &lt;i&gt;Introductory lectures on convex optimization: A basic course&lt;/i&gt;, volume 87 of Applied Optimization. Kluwer Academic Publishers, Boston, MA, 2004&lt;/dd&gt; &lt;/dl&gt;

연구 동기 및 목표

• damping 매개변수 α ≤ 3인 하위임계적 영역에서 네스테로프 가속 경사 하강법의 수렴 속도를 특성화하는 것. 이 경우의 수렴 속도는 이전에 알려져 있지 않았다.
• 부드럽고 비부드러운 성분을 포함하는 구조적 볼록 최적화 문제에 대해 연속 역학 (AVD)α를 확장하는 것.
• 해당 관성 전진-역행 알고리즘의 수렴 속도를 유도하고, 외부 외란에 대한 강건성을 입증하는 것.
• damping 매개변수 α에 따른 수렴 속도 변화의 그림을 완성하여, α → 0에서 α = 3으로의 연속적 전이를 보여주는 것.

제안 방법

• Hilbert 공간 H에서 두 번째 차수 미분방정식 (AVD)α: ¨x(t) + (α/t)˙x(t) + ∇Φ(x(t)) = 0을 분석한다.
• 에너지 감쇠를 연구하기 위해 맞춤형 리아프노프 함수 E(t) = t²ᵖ[Φ(x(t)) − min Φ] + ∥λ(t)(x(t) − z) + tᵖ˙x(t)∥²를 도입한다.
• 네스테로프 방법의 연속적 버전을 모델링하기 위해 시간에 따라 변하는 감쇠 계수 γ(t) = α/t를 사용한다.
• 비부드러운 함수의 준도함수 ∂Ψ를 포함시켜 연속 역학을 전진-역행 설정으로 적응시킨다.
• 카우치-슈바르츠 부등식과 적분 추정을 적용하여 외부 외란에 의한 영향을 제한하고, 외부 간섭에 대한 강건성을 증명한다.
• 연속 시스템을 시간 이산화하여 관성 전진-역행 알고리즘 (IFB)α로 유도함으로써 이산 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 damping 매개변수 α가 3 이하일 때 네스테로프 가속 경사 하강법의 수렴 속도는 무엇인가? 이는 임계값이다.
• RQ2 연속적 (AVD)α 시스템의 수렴 속도는 α > 0에 대해 어떻게 연속적으로 변화하는가?
• RQ3 연속 역학의 수렴 성질은 구조적 볼록 문제에 대한 관성 전진-역행 알고리즘으로 확장될 수 있는가?
• RQ4 외부 편향은 (AVD)α 시스템과 그 이산형 대응체의 수렴 속도에 어떻게 영향을 미치는가?
• RQ5 추가적인 가정 없이도 임계 경우 α = 3에서 궤적의 최적 해로 수렴이 보장되는가?

주요 결과

• α ≤ 3일 때, 연속적 (AVD)α 시스템은 Φ(x(t)) − min Φ = O(t⁻²ᵃ⁄³)의 수렴 속도를 달성하며, α가 3에서 감소함에 따라 수렴 속도가 연속적으로 감소함을 보여준다.
• 임계 경우 α = 3에서는 Φ에 대한 제약 조건 없이 궤적이 최적 해로 수렴함을 증명하며, 이는 이전 결과를 확장한다.
• 관성 전진-역행 알고리즘 (IFB)α의 경우, α ≤ 3일 때 모든 p < 2α/3에 대해 Θ(xk) − min Θ = O(k⁻ᵖ)의 수렴 속도를 갖는다.
• α > 3일 경우, 알고리즘은 o(k⁻²) 수렴을 달성하며, 이는 FISTA의 알려진 빠른 수렴 속도와 일치한다.
• 결과는 외부 편향에 대해 강건하다: ∫ₜ₀^∞ tᵖg(t)dt < ∞이면, Φ(x(t)) − min Φ = O(t⁻²ᵖ)이며, 이때 p = min(1, α/3)이다.
• 논문은 α에 따른 수렴 속도의 완전한 그림을 확립하며, p(α) = 2α/3는 α가 0에서 3으로 증가함에 따라 0에서 2로 선형 증가하고, α > 3에서는 2로 정체됨을 보여준다.