[논문 리뷰] Global convergence of the Heavy-ball method for convex optimization

Euhanna Ghadimi, Hamid Reza Feyzmahdavian외 1명|arXiv (Cornell University)|2014. 12. 23.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 9

한 줄 요약

이 논문은 리프시츠 연속 기울기를 갖는 볼록 최적화 문제에서 헤비볼트 방법의 전역 수렴성과 수렴 속도 한계를 확립한다. 리프시츠 연속 기울기를 갖는 볼록 함수의 경우, 반복값의 세사로 평균은 속도 𝒪(1/k)로 수렴하며, 강한 볼록 함수의 경우 반복값은 선형으로 수렴한다. 이 작업은 이중 미분 가능 함수를 초월하는 새로운 안정성 기준을 제공하여 이전 기준이 실패하는 경우에도 수렴을 보장한다.

ABSTRACT

This paper establishes global convergence and provides global bounds of the convergence rate of the Heavy-ball method for convex optimization problems. When the objective function has Lipschitz-continuous gradient, we show that the Cesaro average of the iterates converges to the optimum at a rate of $O(1/k)$ where k is the number of iterations. When the objective function is also strongly convex, we prove that the Heavy-ball iterates converge linearly to the unique optimum.

연구 동기 및 목표

• 리프시츠 연속 기울기를 갖는 볼록 최적화 문제에 대해 헤비볼트 방법의 전역 수렴성을 확립하기 위해.
• 목적 함수가 강한 볼록성도 갖는 경우 헤비볼트 방법의 수렴 속도를 분석하기 위해.
• 이중 미분 가능하지 않은 강한 볼록 함수에 대해서도 수렴을 보장하는 새로운 안정성 기준을 제공하기 위해.
• 이전의 결과를 이중 미분 가능하지 않은 경우로 확장하여 이전의 안정성 조건이 실패하는 경우에도 적용 가능하도록 하기 위해.
• 비미분 가능 설정에서 헤비볼트 방법의 수렴 행동을 네스테로프 가속 방법과 경사하강법과 비교하기 위해.

제안 방법

• 전역 수렴성을 증명하기 위해 리아파노프 함수 접근법을 사용하여 헤비볼트 방법을 분석한다.
• 이차 리아파노프 함수를 구성하고 반복 과정에서의 감소를 분석하여 수렴 속도 한계를 도출한다.
• 함수 클래스 𝒮¹,¹_{μ,L} (볼록, 리프시츠 기울기, 강한 볼록)에 적용 가능한 헤비볼트 파rameter(스텝 사이즈 α 및 모멘타ム β)에 대한 새로운 안정성 기준을 도입한다.
• 시간에 따라 변하는 스텝 사이즈를 사용하여 개별 반복값의 𝒪(1/k) 수렴 속도를 확보한다. 이는 세사로 평균에만 국한되지 않는다.
• 수치 예제를 통해 이론적 결과를 검증하며, 폴리악의 원래 안정성 기준이 실패하는 반례를 포함한다.
• 특정 파rameter 선택 조건 하에서 수렴 인자 q = 1 − αμ를 추정하며, 이는 경사하강법의 최고 수준의 속도와 일치한다.

실험 결과

연구 질문

• RQ1 이중 미분 가능하지 않은 볼록 함수에 대해 리프시츠 연속 기울기를 갖는 경우, 헤비볼트 방법이 전역적으로 수렴하는가?
• RQ2 리프시츠 기울기를 갖는 볼록 함수의 경우, 헤비볼트 반복값의 세사로 평균의 수렴 속도는 무엇인가?
• RQ3 목적 함수가 강한 볼록성을 갖는 경우, 헤비볼트 방법이 선형 수렴을 보장할 수 있으며, 어떤 파rameter 조건에서 가능한가?
• RQ4 새로운 헤비볼트 방법 안정성 기준은 기존 기준과 비교하여 비미분 가능 설정에서 어떻게 다른가?
• RQ5 동일한 함수 클래스에서 표준 경사하강법보다 헤비볼트 방법의 수렴 인자를 향상시킬 수 있는가?

주요 결과

• 리프시츠 연속 기울기를 갖는 볼록 함수의 경우, 헤비볼트 반복값의 세사로 평균은 최적 해로 속도 𝒪(1/k)로 수렴한다.
• 목적 함수가 강한 볼록성을 갖는 경우, 새로운 안정성 기준 하에서 헤비볼트 반복값은 유일한 최적점으로 선형으로 수렴한다.
• 제안된 안정성 기준은 이전 결과보다 더 넓은 스텝 사이즈 및 모멘타움 파rameter 범위를 허용하며, 특히 스텝 사이즈가 2/L에 가까워질 경우 유리하다.
• 반례를 통해 폴리악의 원래 안정성 기준이 이중 미분 가능하지 않은 강한 볼록 함수에 대해 실패할 수 있음을 보여주며, 새로운 기준은 수렴을 보장한다.
• 특정 파arameter 조건 하에서 헤비볼트 방법의 수렴 인자는 q = 1 − αμ로 추정되며, 이는 경사하강법의 최고 수준의 속도와 일치한다.
• 수치 결과는 새로운 안정성 기준이 기존 기준이 실패하는 경우, 특히 비미분 가능 설정에서 수렴을 보장함을 확인한다.