[논문 리뷰] Accelerated First-Order Methods: Differential Equations and Lyapunov Functions

Jonathan W. Siegel|arXiv (Cornell University)|2019. 03. 13.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 15

한 줄 요약

이 논문은 감쇠된 하미르토니안 미분방정식을 이산화하여 가속된 1차 최적화 방법을 유도하는 통합 프레임워크를 제시한다. 리아푸노프 함수를 사용하여 수렴성을 증명하며, 최적의 감쇠를 물리적 직관으로 설명하고, 네스테로프 방법, FISTA, 가속된 좌표강하를 동일한 연속 동역학의 특수한 경우로 유도한다. 적절한 이산화 방법을 통해.

ABSTRACT

We develop a theory of accelerated first-order optimization from the viewpoint of differential equations and Lyapunov functions. Building upon the previous work of many researchers, we consider differential equations which model the behavior of accelerated gradient descent. Our main contributions are to provide a general framework for discretizating the differential equations to produce accelerated methods, and to provide physical intuition which helps explain the optimal damping rate. An important novelty is the generality of our approach, which leads to a unified derivation of a wide variety of methods, including versions of Nesterov's accelerated gradient descent, FISTA, and accelerated coordinate descent.

연구 동기 및 목표

• Nesterov의 AGD, FISTA, 가속된 좌표강하와 같은 다양한 가속된 1차 최적화 방법을 하나의 연속 시간 동역학 시스템 아래 통합하는 것.
• 감쇠된 하미르토니안 시스템으로 모델링함으로써 가속 방법에서 최적의 감쇠 계수에 대한 물리적 직관을 제공하는 것.
• 수렴 보장을 유지하면서도 스무스, 복합, 스Tu디오스티크 설정에 모두 적용 가능한 감쇠된 두 번째 차수 미분방정식에 대한 일반적인 이산화 프레임워크를 개발하는 것.
• 비미분 가능 복합 목표 함수와 스튜디오스틱 설정으로의 확장을 통해 가속된 좌표강하를 포함한 방법을 다루는 것.
• 리아푸노프 함수를 통한 수렴성 확보와 기존의 추정 수열 기법 및 연속 시간 동역학 간의 연결 고리를 설정하는 것.

제안 방법

• 특정 감쇠 계수를 가진 하미르토니안 역학을 나타내는 감쇠된 두 번째 차수 미분방정식으로 가속 최적화를 모델링하는 것.
• 리아푸노프 함수를 사용하여 안정성과 수렴성을 증명하는 것. 이 함수는 원래 변수에 대한 이차항과 운동량과 관련된 항을 포함한다.
• 일반적인 이산화 프레임워크를 유도하는 것. 이는 위치에 대한 명시적 전진 단계, 반명시적 속도 갱신, 그리고 충분한 감소를 보장하기 위한 두 번째 차수의 교란을 포함한다.
• 스무스 목표 함수에 적용하여 네스테로프의 가속 경사하강법을 복원하고, 복합 목표 함수에 적용하여 FISTA를 유도하는 것.
• 랜덤화된 좌표 업데이트에 적응한 이산화를 통해 스튜디오스틱 설정으로 확장하여 가속된 좌표강하를 도출하는 것.
• 리아푸노프 함수가 비증가임을 보여줌으로써 수렴성을 증명하는 것. 이는 강凸성과 리프시츠 연속 기울기 가정에서 유도된 부등식을 활용한다.

실험 결과

연구 질문

• RQ1 일관된 연속 시간 동역학 시스템이 넓은 범위의 가속된 1차 최적화 방법을 뒷받침할 수 있는가?
• RQ2 가속 방법에서 최적의 감쇠 계수는 물리적으로 어떻게 해석될 수 있으며, 수렴 속도와 어떻게 관련되는가?
• RQ3 스무스, 복합, 스튜디오스틱 설정 전반에 걸쳐 수렴 성질을 유지할 수 있는 일반적인 이산화 프레임워크를 어떻게 설계할 수 있는가?
• RQ4 리아푸노프 함수 접근법을 기존의 수렴 증명 기법(예: 추정 수열)과 체계적으로 연결할 수 있는가?
• RQ5 동일한 기초 미분방정식 프레임워크에서 가속된 좌표강하 및 기타 스튜디오스틱 방법을 유도할 수 있는가?

주요 결과

• 논문은 네스테로프의 가속 경사하강법, FISTA, 가속된 좌표강하가 모두 동일한 감쇠된 하미르토니안 시스템의 특수한 이산화로 유도됨을 입증한다.
• 연속 시스템에서 최적의 감쇠 계수는 임계 감쇠에 해당하며, 이는 진동을 최소화하고 최소값으로의 수렴 속도를 최대화한다.
• 일반적인 이산화 프레임워크가 유도되었으며, 이는 명시적 위치 갱신, 반명시적 속도 단계, 그리고 수렴을 유지하기 위한 두 번째 차수의 교란을 포함한다.
• 스무스 케이스에서 $ f = g + h $, $ g $ $ L $-스무스이고 $ h $가 볼록할 때, 수렴 속도는 $ f(x_n) - f(x^*) \leq \frac{2L}{n(n+2)}\|x_0 - x^*\|^2 $로 표현되며, 기존의 최적 속도와 일치한다.
• 수렴 증명은 비증가하는 리아푸노프 함수에 기반하며, 이 함수의 감소 조건은 강凸성과 리프시츠 기울기 가정에서 유도된 이차 바ounds를 통해 기울기와 운동량 항과 연결된다.
• 이 프레임워크는 선형 검색를 통해 적응형 스텝 사이즈 선택이 가능하여, $ L $을 사전에 알 필요 없이도 최적의 수렴 속도를 달성할 수 있다.