[논문 리뷰] Non-ergodic Convergence Analysis of Heavy-Ball Algorithms

Tao Sun, Penghang Yin외 4명|arXiv (Cornell University)|2018. 11. 05.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 6

한 줄 요약

이 논문은 중량 이동 알고리즘의 첫 번째 비에르고딕 수렴 분석을 제시하며, 볼록이고 강한 강건성 조건을 만족하는 함수에 대해 $O(1/k)$의 하위선형 수렴 속도를 확립하고, 완화된 강한 볼록 조건 하에서 선형 수렴을 보인다. 이 방법은 수정된 이阶 미분방정식에서 유도된 새로운 리아푸노프 함수를 사용하여 이전 연구에 비해 단계 크기와 관성 파라미터에 대한 더 약한 가정으로 더 날카로운 복잡도 한계를 가능하게 한다.

ABSTRACT

In this paper, we revisit the convergence of the Heavy-ball method, and present improved convergence complexity results in the convex setting. We provide the first non-ergodic O(1/k) rate result of the Heavy-ball algorithm with constant step size for coercive objective functions. For objective functions satisfying a relaxed strongly convex condition, the linear convergence is established under weaker assumptions on the step size and inertial parameter than made in the existing literature. We extend our results to multi-block version of the algorithm with both the cyclic and stochastic update rules. In addition, our results can also be extended to decentralized optimization, where the ergodic analysis is not applicable.

연구 동기 및 목표

• 에르고딕 수렴 속도보다 더 실용적인 비에르고딕 수렴 속도를 확립하여 중력 이동 방법의 수렴 분석 격차를 메우기.
• 더 약한 볼록 조건 하에서 선형 수렴 영역에서 단계 크기와 관성 파라미터에 대한 가정을 완화하기.
• 순환 및 확률적 업데이트 규칙을 가진 다중 블록 변형으로 비에르고딕 분석을 확장하기.
• 에르고딕 분석이 적용 불가능한 분산 최적화 설정에서 수렴 분석을 가능하게 하기.
• 더 날카로운 수렴 증명을 위해 수정된 이阶 동역학 시스템에 기반한 새로운 리아푸노프 함수 개발하기.

제안 방법

• 제약 조건 $\|\ddot{x}(t)\| \leq \theta \|\dot{x}(t)\|$를 포함하는 수정된 이阶 미분방정식에서 영감을 얻은 새로운 리아푸노프 함수 제안.
• 리아푸노프 함수를 사용하여 목적 함수 오차 $f(x^k) - \min f$의 감소를 묶는 재귀 부등식 유도.
• 상수 단계 크기 하에서 강건성 조건을 만족하는 볼록 함수에 대해 $O(1/k)$ 수렴을 증명하기 위해 리아푸노프 함수 적용.
• 기존 연구에 비해 단계 크기와 관성 파라미터에 대한 가정을 더 약하게 요구하는 완화된 강한 볼록 조건 하에서 선형 수렴 확립.
• 블록별 리아푸노프 분석을 통해 순환 및 확률적 업데이트 규칙을 가진 다중 블록 중력 이동에 분석 확장.
• 에르고딕 평균화가 불가능한 분산 중력 이동에 대해 비에르고딕 수렴에 기반하여 프레임워크 적응.

실험 결과

연구 질문

• RQ1 상수 단계 크기 하에서 볼록 설정에서 중력 이동 알고리즘에 대해 비에르고딕 $O(1/k)$ 수렴 속도를 확립할 수 있는가?
• RQ2 목적 함수가 완화된 강한 볼록 조건을 만족할 때, 단계 크기와 관성 파라미터에 대한 가정을 더 약하게 하여 선형 수렴을 증명할 수 있는가?
• RQ3 순환 및 확률적 업데이트 규칙을 모두 가진 다중 블록 중력 이동에 대해 비에르고딕 수렴 분석을 확장할 수 있는가?
• RQ4 에르고딕 분석이 실패하는 분산 최적화 환경에 대해 제안된 프레임워크를 적용할 수 있는가?
• RQ5 수정된 동역학 시스템에 기반한 새로운 리아푸노프 함수는 기존 접근 방식에 비해 수렴 한계를 어떻게 향상시키는가?

주요 결과

• 논문은 상수 단계 크기 하에서 볼록이고 강건성 조건을 만족하는 설정에서 중력 이동 알고리즘에 대해 처음으로 비에르고딕 $O(1/k)$ 수렴 속도를 확립한다.
• 이전의 에르고딕 분석보다 단계 크기와 관성 파라미터에 대한 가정이 더 약한 조건 하에서 수렴 속도를 달성한다.
• 완화된 강한 볼록 조건 하에서 선형 수렴이 증명되었으며, 기존 문헌에 비해 단계 크기와 관성 파라미터의 허용 범위가 더 넓다.
• 순환 업데이트 규칙을 가진 다중 블록 중력 이동은 하위선형 수렴을 달성하고, 동일한 완화된 조건 하에서 확률적 업데이트 규칙은 선형 수렴을 달성한다.
• 에르고딕 평균화가 적용 불가능한 분산 중력 이동에 대해서도 비에르고딕 수렴이 확립되었다.
• 수치 실험 결과, 순환 업데이트 하에서 더 큰 관성 파라미터($\beta \in [0.3, 0.4]$)가 선형 회귀 및 로지스틱 회귀 과제에서 수렴 속도를 가속화하는 것으로 확인되었으나, 확률적 설정에서는 블록 재사용 빈도가 낮아 이점이 감소함을 관찰했다.