[논문 리뷰] Understanding the Acceleration Phenomenon via High-Resolution Differential Equations

Bin Shi, Simon S. Du외 2명|arXiv (Cornell University)|2018. 10. 21.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 86

한 줄 요약

이 논문은 고해상도 ODE를 도입하여 Nesterov의 가속 경사 하강법(NAG)과 헤비볼 방법을 구분하고, 그래디언트 보정 메커니즘을 밝히며, NAG-C에서 제곱 그래디언트 노름을 최소화하는 세제곱 수렴 속도를 보인다.

ABSTRACT

Gradient-based optimization algorithms can be studied from the perspective of limiting ordinary differential equations (ODEs). Motivated by the fact that existing ODEs do not distinguish between two fundamentally different algorithms---Nesterov's accelerated gradient method for strongly convex functions (NAG-SC) and Polyak's heavy-ball method---we study an alternative limiting process that yields high-resolution ODEs. We show that these ODEs permit a general Lyapunov function framework for the analysis of convergence in both continuous and discrete time. We also show that these ODEs are more accurate surrogates for the underlying algorithms; in particular, they not only distinguish between NAG-SC and Polyak's heavy-ball method, but they allow the identification of a term that we refer to as "gradient correction" that is present in NAG-SC but not in the heavy-ball method and is responsible for the qualitative difference in convergence of the two methods. We also use the high-resolution ODE framework to study Nesterov's accelerated gradient method for (non-strongly) convex functions, uncovering a hitherto unknown result---that NAG-C minimizes the squared gradient norm at an inverse cubic rate. Finally, by modifying the high-resolution ODE of NAG-C, we obtain a family of new optimization methods that are shown to maintain the accelerated convergence rates of NAG-C for smooth convex functions.

연구 동기 및 목표

• Limiting ODEs를 통해 gradient 기반 최적화를 연구하도록 동기를 부여하고, 전통적인 ODE에서 NAG-SC와 heavy-ball의 구분 불가능성에 주목한다.
• O(sqrt{s}) 항을 보유하는 고해상도 ODE 프레임워크를 도입하여 알고리즘의 차이를 구분한다.
• 연속 시간 및 이산 시간의 수렴 분석을 위한 Lyapunov 함수 기법을 개발한다.
• 가속에 필수적인 그래디언트 보정 항을 밝힌다.
• 분석을 NAG-C까지 확장하고 그래디언트 노름 최소화 속도에 대한 새로운 통찰을 도출한다.

제안 방법

• NAG-SC의 한계 과정에서 O(sqrt{s}) 항을 포함시켜 고해상도 ODE를 도출하고 Hessian 구동 그래디언트 보정을 밝힌다.
• 고해상도 ODE에 대한 연속 시간 Lyapunov 함수 구성하고 궤적에서 감소를 증명한다.
• 위상 공간 표현을 통해 연속 Lyapunov 분석을 이산 시간 Lyapunov 함수로 변환한다.
• 고해상도 ODE 프레임워크를 사용해 NAG-SC와 헤비볼 방법을 비교하고 가속 차이를 설명한다.
• 이산 형태에서 그래디언트 보정 항이 나타나 수렴 행동에 영향을 미친다는 것을 보여준다.
• NAG-C에 프레임워크를 적용해 제곱 그래디언트 노름 최소화에 대해 세제곱 속도를 확립하고 확장에 대해 논의한다.

실험 결과

연구 질문

• RQ1 고해상도 ODE가 NAG-SC를 Polyak의 헤비-볼 방법과 어떻게 구분하는가?
• RQ2 Hessian 구동 그래디언트 보정이 가속에서 NAG-SC가 헤비볼 방법에 비해 어떤 역할을 하는가?
• RQ3 연속 시간 Lyapunov 분석이 NAG-SC의 이산 가속 특성을 설명할 수 있는가?
• RQ4 그래디언트 노름에 대해 어떤 수렴 속도를 얻을 수 있는가? 함수 값뿐만 아니라?
• RQ5 고해상도 ODE 프레임워크가 가속을 유지하는 새로운 최적화 방법을 도출할 수 있는가?

주요 결과

• 고해상도 ODE는 그래디언트 보정 항을 보존함으로써 NAG-SC를 헤비볼 방법과 구분한다.
• 그래디언트 보정 항은 Hessian에 의해 적응적 감쇠를 이끌어 가속에 기여한다.
• 이산 Lyapunov 함수는 NAG-SC에 대해 최적의 선형 수렴 속도를 재현한다.
• NAG-C의 프레임워크는 제곱 그래디언트 노름을 최소화하는 새로운 역(1/t^3) 수렴 속도를 보여준다.
• 고해상도 ODE는 저해상도 ODE보다 이산 알고리즘에 대해 더 정확한 대체 모델을 제공한다.
• NAG-C용 고해상도 ODE 수정은 매끄러운 볼록 함수에 대해 가속 속도를 유지하는 해의 계열을 제공한다.