[논문 리뷰] The rate of convergence of Nesterov's accelerated forward-backward method is actually $o(k^{-2})$

Hédy Attouch, Juan Peypouquet|arXiv (Cornell University)|2015. 10. 29.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 6

한 줄 요약

이 논문은 함수 값에 대해 수렴 속도가 $o(k^{-2})$인 네스테로프 가속 전진-역행 방법의 변종이 존재함을 증명한다. 이는 표준 $ olcal{O}(k^{-2})$ 경계를 향상시킨다. 분석은 점점 사라지는 감쇠를 가진 이阶 미분 포함관계와의 연결을 활용하여 수렴하는 수열에 대해 더 엄밀한 渐近 수렴 속도를 확립한다.

ABSTRACT

The {\it forward-backward algorithm} is a powerful tool for solving optimization problems with a {\it additively separable} and {\it smooth} + {\it nonsmooth} structure. In the convex setting, a simple but ingenious acceleration scheme developed by Nesterov has been proved useful to improve the theoretical rate of convergence for the function values from the standard $\mathcal O(k^{-1})$ down to $\mathcal O(k^{-2})$. In this short paper, we prove that the rate of convergence of a slight variant of Nesterov's accelerated forward-backward method, which produces {\it convergent} sequences, is actually $o(k^{-2})$, rather than $\mathcal O(k^{-2})$. Our arguments rely on the connection between this algorithm and a second-order differential inclusion with vanishing damping.

연구 동기 및 목표

• 네스테로프 가속 전진-역행 방법의 변종에 대해 수렴하는 수열을 생성하는 더 엄밀한 수렴 속도를 확립하기 위해.
• 표준 $ olcal{O}(k^{-2})$ 경계와 방법의 실제 渐近 행동 사이의 괴리 문제를 해결하기 위해.
• 이론적 수렴 속도가 $ olcal{O}(k^{-2})$보다 엄밀히 우월하다는 것을 보여주어 $o(k^{-2})$임을 명확히 하기 위해.
• 이산 가속 알고리즘과 점점 사라지는 감쇠를 가진 연속 제2차 미분 포함관계 사이의 관계를 체계화하기 위해.

제안 방법

• 저자들은 반복 수렴을 보장하는 네스테로프 가속 전진-역행 방법의 수정된 버전을 분석한다.
• 이산 알고리즘과 점점 사라지는 감쇠를 가진 제2차 미분 포함관계 사이의 연결 고리를 확립하여 연속 시간 근사 모델을 수립한다.
• 에너지 함수의 감쇠를 연구하기 위해 리아푸노프 함수와 에너지 방법을 사용한다.
• 수렴 속도는 $k \to \infty$일 때 에너지 함수의 渐近 행동을 분석하여 유도된다.
• 장기적 역학을 특성화하기 위해 미분 포함관계 이론에 의존한다.

실험 결과

연구 질문

• RQ1 네스테로프 가속 전진-역행 방법의 수렴 속도가 실제로 $ olcal{O}(k^{-2})$를 초월하여 향상되는가?
• RQ2 수렴하는 알고리즘 변종에 대해 속도 $ olcal{O}(k^{-2})$를 $o(k^{-2})$로 정밀화할 수 있는가?
• RQ3 점점 사라지는 감쇠를 가진 제2차 미분 포함관계는 가속 방법을 모델링하는 데 어떤 역할을 하는가?
• RQ4 연속 시간 모델은 이산 수렴 행동에 어떻게 영향을 주는가?

주요 결과

• 제안된 네스테로프 가속 전진-역행 방법의 변종은 함수 값에 대해 $ olcal{O}(k^{-2})$가 아니라 $o(k^{-2})$의 수렴 속도를 가진다.
• 원래 네스테로프 방법이 반복 수렴을 보장하지 못하는 것과는 달리, 이 방법은 수렴하는 반복 수열을 생성한다.
• 점점 사라지는 감쇠를 가진 제2차 미분 포함관계와의 연결은 개선된 속도를 설명하는 연속 시간적 해석을 제공한다.
• 에너지 함수 분석을 통해 목적 함수 오차의 渐近 감쇠 속도가 $k^{-2}$를 엄밀히 초월함을 확인할 수 있다.