[논문 리뷰] Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization

Tianbao Yang, Qihang Lin외 1명|arXiv (Cornell University)|2016. 04. 12.

Stochastic Gradient Optimization Techniques참고 문헌 7인용 수 90

한 줄 요약

이 논문은 볼록 및 비볼록 최적화에서 확률적 모멘텀 방법—확률적 헤비볼 (HB) 및 확률적 네스테로프의 가속 경사하강 (S-NAG)—에 대한 통합 수렴 분석 프레임워크를 제시한다. 이 프레임워크는 두 방법이 목적 함수 값(볼록) 및 기울기 노름(비볼록)에 대해 기대 수렴 속도 $O(1/\sqrt{t})$를 달성함을 입증하며, 자유 매개변수를 통해 경사하강법에서 네스테로프 방법으로, 다시 헤비볼 방법으로의 연속적 전이를 드러내어 딥 러닝에서 관찰된 학습 및 테스트 오차 역학을 설명한다.

ABSTRACT

Recently, {\it stochastic momentum} methods have been widely adopted in training deep neural networks. However, their convergence analysis is still underexplored at the moment, in particular for non-convex optimization. This paper fills the gap between practice and theory by developing a basic convergence analysis of two stochastic momentum methods, namely stochastic heavy-ball method and the stochastic variant of Nesterov's accelerated gradient method. We hope that the basic convergence results developed in this paper can serve the reference to the convergence of stochastic momentum methods and also serve the baselines for comparison in future development of stochastic momentum methods. The novelty of convergence analysis presented in this paper is a unified framework, revealing more insights about the similarities and differences between different stochastic momentum methods and stochastic gradient method. The unified framework exhibits a continuous change from the gradient method to Nesterov's accelerated gradient method and finally the heavy-ball method incurred by a free parameter, which can help explain a similar change observed in the testing error convergence behavior for deep learning. Furthermore, our empirical results for optimizing deep neural networks demonstrate that the stochastic variant of Nesterov's accelerated gradient method achieves a good tradeoff (between speed of convergence in training error and robustness of convergence in testing error) among the three stochastic methods.

연구 동기 및 목표

• 딥 러닝에서 광범위하게 사용되는 확률적 모멘텀 방법과 그들의 이론적 수렴 분석이 부족한 점을 메우기 위해.
• 확률적 헤비볼, 확률적 네스테로프 방법, 그리고 확률적 경사하강법 간의 구조적 유사점과 차이점을 드러내는 통합 이론적 프레임워크를 제공하기 위해.
• 리프시츠 연속 기울기를 갖는 볼록 및 비볼록 설정 모두에서 확률적 모멘텀 방법의 수렴 보장을 수립하기 위해.
• 특히 학습 속도와 테스트 오차에 대한 안정성 간의 상충 관계를 보여주는 딥 뉘런넷 최적화에서 관찰된 수렴 행동을 연속적 매개변수화된 모멘텀 방법의 가족을 통해 설명하기 위해.
• 미래의 확률적 모멘텀 알고리즘 개발 및 비교를 위한 기초 참고 자료로 기능하기 위해.

제안 방법

• 자유 매개변수를 통해 모멘텀 방법을 매개변수화하는 통합 프레임워크를 제안하여, 경사하강법에서 네스테로프의 가속 방법으로, 다시 헤비볼 방법으로의 연속적 전이를 가능하게 한다.
• 편차가 유계인 확률적 기울기를 사용하는 동일한 이론적 설정 하에서 확률적 헤비볼 (HB) 및 확률적 네스테로프의 가속 경사하강 (S-NAG) 방법을 분석한다.
• 리아푸노프 함수 분석과 재귀 부등식을 사용하여 볼록 최적화에서 기대 목적 함수 값의 수렴 속도와 비볼록 최적화에서 기대 기울기 노름의 수렴 속도를 유도한다.
• 리프시츠 연속 함수에 대해 볼록 최적화에서 목적 함수 값이 기대 수렴 속도 $O(1/\sqrt{t})$로 수렴함을 입증한다.
• 리프시츠 연속 기울기를 갖는 비볼록 함수에 대해 기대 기울기 노름이 기대 수렴 속도 $O(1/\sqrt{t})$로 수렴함을 입증한다.
• HB와 S-NAG를 모두 일반화하는 매개변수화된 업데이트 규칙을 사용하여, 모멘텀 항이 매개변수가 변화함에 따라 연속적으로 변화함을 보이며, 딥 러닝에서의 경험적 행동을 반영한다.

실험 결과

연구 질문

• RQ1 HB 및 S-NAG와 같은 확률적 모멘텀 방법이 볼록 및 비볼록 설정에서 어떻게 수렴하며, 그 이론적 수렴 속도는 무엇인가?
• RQ2 알고리즘 설계 및 수렴 행동 측면에서 확률적 헤비볼, 확률적 네스테로프 방법, 그리고 확률적 경사하강법 간의 구조적 관계는 무엇인가?
• RQ3 관찰된 학습 및 테스트 오차 역학의 전이를 설명할 수 있는 통합 이론적 프레임워크는 존재하는가?
• RQ4 왜 확률적 네스테로프 방법의 변형이 HB 및 SGD보다 학습 속도와 일반화 안정성 간의 상충 관계에서 더 우수한 균형을 이루는가?
• RQ5 모멘텀 매개변수는 확률적 모멘텀 방법의 수렴 궤적과 안정성에 어떤 영향을 미치는가?

주요 결과

• 리프시츠 연속 함수에 대해 볼록 최적화에서 확률적 헤비볼 방법과 네스테로프의 가속 경사하강 방법의 변형 모두 목적 함수 값에 대해 기대 수렴 속도 $O(1/\sqrt{t})$를 달성한다.
• 리프시츠 연속 기울기를 갖는 비볼록 최적화에서 두 방법 모두 기대 기울기 노름에 대해 기대 수렴 속도 $O(1/\sqrt{t})$를 달성한다.
• 제안된 통합 프레임워크는 모멘텀 매개변수가 변화함에 따라 경사하강법에서 네스테로프 방법으로, 다시 헤비볼 방법으로의 연속적 전환을 드러내며, 딥 러닝에서 관찰된 유사한 테스트 오차 역학 전이를 설명한다.
• 경험적 결과는 확률적 네스테로프 방법이 빠른 학습 오차 감소와 안정적인 테스트 오차 수렴 간의 유리한 균형을 달성하며, 일반화 성능에서 확률적 HB 및 확률적 경사하강법을 모두 능가함을 보여준다.
• 이론적 분석은 강한 볼록성이나 유계 기울기를 가정하지 않아, 다양한 비볼록 딥 러닝 문제에 적용 가능하다.
• 이 프레임워크는 딥 러닝에서 모멘텀 방법의 행동을 이해하는 데 이론적 기초를 제공하며, 향후 알고리즘 개발을 위한 기준이 된다.