[논문 리뷰] A Lyapunov Analysis of Momentum Methods in Optimization

Ashia Wilson, Benjamin Recht외 1명|arXiv (Cornell University)|2016. 11. 08.

Stochastic Gradient Optimization Techniques참고 문헌 4인용 수 139

한 줄 요약

이 논문은 모멘텀 방법에 대한 추정 시퀀스와 Lyapunov 함수 사이의 등가를 보이고, 연속시간과 이산시간에서 통합된 Lyapunov 기반 분석을 전개하며, Bregman Lagrangians의 이산화(discretizations)를 통해 새로운 및 기존의 가속 알고리즘을 유도한다.

ABSTRACT

Momentum methods play a significant role in optimization. Examples include Nesterov's accelerated gradient method and the conditional gradient algorithm. Several momentum methods are provably optimal under standard oracle models, and all use a technique called estimate sequences to analyze their convergence properties. The technique of estimate sequences has long been considered difficult to understand, leading many researchers to generate alternative, "more intuitive" methods and analyses. We show there is an equivalence between the technique of estimate sequences and a family of Lyapunov functions in both continuous and discrete time. This connection allows us to develop a simple and unified analysis of many existing momentum algorithms, introduce several new algorithms, and strengthen the connection between algorithms and continuous-time dynamical systems.

연구 동기 및 목표

• 최적화에서 모멘텀 방법을 위한 통합된 Lyapunov 기반 프레임워크를 제시한다.
• 연속 시간과 이산 시간에서 추정 시퀀스와 Lyapunov 함수의 등가를 보인다.
• Bregman Lagrangians로부터의 연속 시간 역학의 이산화를 통해 이산 시간 알고리즘을 도출하고 분석한다.
• 최적화 알고리즘과 연속 시간 동역학 사이의 연결을 강화한다.

제안 방법

• 이상 스케일링 조건을 갖는 Bregman Lagrangian 및 두 번째 Bregman Lagrangian을 정의하여 연속 시간 역학을 설명하는 Euler–Lagrange 방정식을 얻는다.
• 이 역학에 대해 수렴 속도를 인증하기 위해 시간에 따라 변화하는 Lyapunov 함수를 구성한다.
• 명시적 및 암시적 Euler 스키마를 사용하여 연속 시간 역학을 이산화하고 이를 실용 알고리즘으로 매핑한다.
• 다른 이산화 스키마와 매 이터레이션마다 감소하는 Lyapunov 함수를 통해 가속 방법을 도입하고 분석한다.
• 이상 스케일링 하에서 E_t 또는 E_k 가 감소하는 형태의 일반적 수렴 보장을 제공하여 O(1/β_t) 또는 O(1/A_k) 속도를 얻는다.
• G 맵의 특정 선택 또는 그래디언트 업데이트 하에서 다양한 알려진 가속 방법이 특수 사례로 어떻게 도출되는지 논의한다.

실험 결과

연구 질문

• RQ1 모멘텀 방법에서 사용되는 추정 시퀀스를 연속 시간과 이산 시간 모두에서 수렴 분석에 사용할 Lyapunov 함수로 대체할 수 있는가?
• RQ2 연속 시간 Bregman Lagrangian 역학과 이산 시간 최적화 알고리즘 간의 정확한 연결 고리는 무엇인가?
• RQ3 Euler–Lagrange 방정식의 이산화가 증명 가능한 수렴 속도를 가진 가속 최적화 알고리즘을 어떻게 도출하는가?
• RQ4 Lyapunov 함수가 모멘텀 및 가속 방법의 수렴 속도를 인증하는 조건은 무엇인가?
• RQ5 기존의 가속 방법들이 통합된 Lyapunov 및 이산화 프레임워크에 어떻게 맞춰지는가?

주요 결과

• 모멘텀 방법의 연속 시간 및 이산 시간 분석을 통합하는 Lyapunov 프레임워크가 개발되었다.
• 두 가지 계열의 Bregman Lagrangians가 Euler–Lagrange 방정식을 산출하며, 그 Lyapunov 함수는 이상 스케일링이 성립할 때 O-수렴 속도를 준다.
• 이산 시간 Lyapunov 함수는 암시적 및 가속 스키마에 대해 일반적인 O(1/A_k) 수렴 보장을 이끈다.
• 그래디언트/미러 디센트, 보편적 고차 방법과 같은 가속 방법이 적절한 G 업데이트 및 매끄러움 가정이 있는 이산화를 통해 도출된다.
• 해당 분석은 추정 시퀀스와 Lyapunov 함수 사이의 등가를 보여주며, 더 간단한 동적 시스템 관점을 가능하게 한다.