[논문 리뷰] A Dynamical Systems Perspective on Nesterov Acceleration

Michael Muehlebach, Michael I. Jordan|arXiv (Cornell University)|2019. 05. 17.

Numerical methods for differential equations참고 문헌 12인용 수 36

한 줄 요약

이 논문은 이차 일반미분방정식(곡률 의존 감쇠를 가진 질량-스프링-댐퍼 계 시스템)을 반-암시적 Euler 스킴으로 이산화하여 네스테로프 가속화를 도출하고, 연속 시간 및 이산 시간 역학을 분석한다.

ABSTRACT

We present a dynamical system framework for understanding Nesterov's accelerated gradient method. In contrast to earlier work, our derivation does not rely on a vanishing step size argument. We show that Nesterov acceleration arises from discretizing an ordinary differential equation with a semi-implicit Euler integration scheme. We analyze both the underlying differential equation as well as the discretization to obtain insights into the phenomenon of acceleration. The analysis suggests that a curvature-dependent damping term lies at the heart of the phenomenon. We further establish connections between the discretized and the continuous-time dynamics.

연구 동기 및 목표

• 제 vanishing step sizes에 의존하지 않고 네스테로프 가속화에 대한 동역학 시스템의 기초를 제공한다.
• 곡률 의존 질량-스프링-댐퍼 ODE를 이산화하면 네스테로프의 가속 경사 방법이 도출됨을 보인다.
• 가속에서 곡률 의존 감쇠의 역할을 설명하고 연속 시간 역학을 이산 시간 업데이트와 연관시킨다.

제안 방법

• 최적화용 질량-스프링-댐퍼 계로 작용하는 곡률 의존 감쇠 항을 갖는 이차 ODE를 형식화한다.
• 비 소멸하는 스텝 사이즈를 가진 ODE에 반-암시적 Euler 이산화를 적용하여 네스테로프 가속화를 유도한다.
• 이산화를 기하학적 특성을 보존하기 위해 비보존(강제) 단계에 이어 대칭적-해밀토니안 속성을 보존하는 symplectic Euler 단계로 분해한다.
• 이 이산화가 Ts가 (0,1)인 경우 위상 공간 면적 수축 및 시간 역행성을 보존함을 보인다.
• 강력하게 볼록한 설정과 비강력 볼록한 설정 모두에서 수렴 속도를 한정하는 Lyapunov 기반 분석을 제공한다.

실험 결과

연구 질문

• RQ1 Nesterov 가속화는 vanishing step-size 한계가 아닌 이차 ODE를 이산화함으로써 어떻게 얻을 수 있는가?
• RQ2 곡률 의존 감쇠가 연속 및 이산 역학에서 가속 수렴을 만들어내는 역할은 무엇인가?
• RQ3 연속 시스템과 이산화된 시스템이 면적 수축 및 시간 역행성 같은 기하학적 특성을 보존하는가?
• RQ4 이 동역학적 틀에서 강하게 볼록하고 비강력 볼록 목표에 대해 어떤 수렴 속도를 확립할 수 있는가?

주요 결과

• Nesterov 가속화는 곡률 의존 감쇠를 갖는 질량-스프링-댐퍼를 모델링하는 특정 이차 ODE의 반-암시적 Euler 이산화에서 비롯된다.
• 연속 시간 역학은 strongly convex인 경우 최소 1/(2√κ) − 1/(4κ)의 속도로 수렴하고, non-strongly convex인 경우 O(1/t^2)로 감소한다.
• 이 이산화는 Ts가 (0,1)에서 위상 공간 면적 수축을 보존하고 시간 역행성을 갖는다.
• Ts가 (0,1]인 경우 이산 시간 궤적은 선형 수렴하며 그 속도는 최소 1 − Ts O(1/√κ)이다.
• 감쇠 항 Dx x˙x는 곡률의 지역적 평균으로 작용하여 일정 감쇠와 곡률 의존 감쇠를 균형 잡아 가속화를 만들어낸다.