[논문 리뷰] A Lyapunov analysis for accelerated gradient methods: From deterministic to stochastic case

Maxime Laborde, Adam M. Oberman|arXiv (Cornell University)|2019. 08. 21.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 7

한 줄 요약

이 논문은 Nesterov의 가속 경사하강법의 리아푸노프 분석을 결정론적 설정에서 확률적 설정으로 확장하여, 수정된 상미분방정식(OED)과의 연결을 통해, 전체 및 확률적 경사하강법에 모두 적용 가능한 통합된 리아푸노프 프레임워크를 이용해 가속된 확률적 경사하강법의 수렴 속도를 확립한다. 이는 연속 및 이산 시간에서 알려진 가속된 수렴 속도를 복원한다.

ABSTRACT

Recent work by Su, Boyd and Candes made a connection between Nesterov's accelerated gradient descent method and an Ordinary Differential Equation (ODE). We show that this connection can be extended to the case of stochastic gradients, and develop Lyapunov function based convergence rates proof for Nesterov's accelerated stochastic gradient descent. In the gradient case, we show Nesterov's method arises as a straightforward discretization of a modified ODE. Established Lyapunov analysis is used to recover the accelerated rates of convergence in both continuous and discrete time. Moreover, the Lyapunov analysis can be extended to the case of stochastic gradients. The result is a unified approach to acceleration in both continuous and discrete time, and in for both stochastic and full gradients.

연구 동기 및 목표

• Nesterov의 가속 경사하강법의 리아푸노프 함수 기반 수렴 분석을 결정론적 설정에서 확률적 경사하강 설정으로 확장하는 것.
• 결정론적 경우와 유사하게, Nesterov의 방법과 수정된 ODE 간의 연결 고리를 설정하는 것, 특히 확률적 경우에 대해.
• 연속 및 이산 시간, 전체 및 확률적 경사하강법에 대해 가속화 분석을 통합하는 것.
• 리아푸노프 함수를 사용하여 가속된 확률적 경사하강법의 수렴 속도를 유도하는 것.
• 결정론적 및 확률적 환경 모두에서 알려진 가속된 수렴 속도를 복원할 수 있는 체계적인 프레임워크를 제공하는 것.

제안 방법

• Nesterov의 방법의 결정론적 ODE 분석에서 사용된 리아푸노프 함수 접근법을 확률적 경사하강 설정으로 적응하는 것.
• 결정론적 설정에서 Nesterov의 가속 경사하강법과 대응하는 수정된 ODE를 유도하고, 이를 확률적 경사하강법로 확장하는 것.
• 연속 및 이산 시간에서 최적화 경로의 에너지 유사 감쇠를 포착하는 리아푸노프 함수를 구성하는 것.
• 리아푸노프 함수를 사용하여, 확률적 경사하강 노이즈가 존재하더라도 시간이 지남에 따라 감쇠함을 보여줌으로써 수렴 속도를 증명하는 것.
• 기존의 리아푸노프 분석 기법을 확률적 설정에 적용하여 안정성 및 수렴 보장을 보장하는 것.
• 동일한 리아푸노프 프레임워크가 결정론적 및 확률적 환경 모두에서 가속된 수렴 속도를 도출함을 보여주는 것.

실험 결과

연구 질문

• RQ1 Nesterov의 가속 경사하강법의 리아푸노프 함수 분석은 어떻게 확률적 경사하강 설정으로 확장될 수 있는가?
• RQ2 확률적 경사하강 하에서 Nesterov의 방법과 대응하는 ODE는 무엇이며, 결정론적 경우와 어떻게 관련되어 있는가?
• RQ3 연속 및 이산 시간, 전체 및 확률적 경사하강법에 대해 가속화를 분석할 수 있는 통합된 리아푸노프 기반 프레임워크를 개발할 수 있는가?
• RQ4 이 리아푸노프 접근법을 통해 가속된 확률적 경사하강법의 수렴 속도를 어떻게 확립할 수 있는가?
• RQ5 확률적 경우의 수정된 ODE 설정은 Nesterov의 방법의 가속된 수렴 성질을 어떻게 유지하는가?

주요 결과

• 리아푸노프 함수 프레임워크는 결정론적 설정에서부터 확률적 경사하강 설정으로 성공적으로 확장되어 수렴 속도 분석이 가능해졌다.
• 결정론적 경우에서 Nesterov의 가속 경사하강법과 대응하는 수정된 ODE가 도출되었고, 이를 확률적 경사하강법에 적응시켰다.
• 동일한 리아푸노프 함수가 전체 및 확률적 경사하강법 모두에서 연속 및 이산 시간 모두에서 가속된 수렴 속도를 증명한다.
• 분석은 결정론적 경우에서 알려진 가속된 수렴 속도를 복원하여 일관성을 확인한다.
• 이 프레임워크는 다양한 설정(예: 확률적 최적화 포함)에 적용 가능한 통합된 가속화 접근법을 제공한다.
• 리아푸노프 기반 안정성 분석을 통해 가속된 확률적 경사하강법에 대한 이론적 수렴 보장을 수립한다.