[논문 리뷰] On the Convergence of Weighted AdaGrad with Momentum for Training Deep Neural Networks

Fangyu Zou, Li Shen|arXiv (Cornell University)|2018. 08. 10.

Stochastic Gradient Optimization Techniques인용 수 8

한 줄 요약

이 논문은 좌표별 가중 AdaGrad와 헤비볼트 모멘텀 및 네스터로프 모멘텀을 각각 조합한 적응형 확률적 최적화 방법인 AdaHB와 AdaNAG를 제안한다. 비볼록 확률적 설정에서 O(log T / √T)의 비점근 수렴 속도를 확립하며, Adam과 RMSProp의 행동에 대한 이론적 근거를 제공하고, 모멘텀이 사라질 경우 좌표별 AdaGrad로 복원되는 특수한 경우를 포함한다.

ABSTRACT

Adaptive stochastic gradient descent methods, such as AdaGrad, RMSProp, Adam, AMSGrad, etc., have been demonstrated efficacious in solving non-convex stochastic optimization, such as training deep neural networks. However, their convergence rates have not been touched under the non-convex stochastic circumstance except recent breakthrough results on AdaGrad, perturbed AdaGrad and AMSGrad. In this paper, we propose two new adaptive stochastic gradient methods called AdaHB and AdaNAG which integrate a novel weighted coordinate-wise AdaGrad with heavy ball momentum and Nesterov accelerated gradient momentum, respectively. The $\mathcal{O}(\frac{\log{T}}{\sqrt{T}})$ non-asymptotic convergence rates of AdaHB and AdaNAG in non-convex stochastic setting are also jointly established by leveraging a newly developed unified formulation of these two momentum mechanisms. Moreover, comparisons have been made between AdaHB, AdaNAG, Adam and RMSProp, which, to a certain extent, explains the reasons why Adam and RMSProp are divergent. In particular, when momentum term vanishes we obtain convergence rate of coordinate-wise AdaGrad in non-convex stochastic setting as a byproduct.

연구 동기 및 목표

• 비볼록 확률적 최적화에서 Adam과 RMSProp와 같은 적응형 확률적 경사하강법의 수렴 속도 분석 부족 문제를 해결하기 위해.
• 향상된 수렴 성질을 얻기 위해 좌표별 AdaGrad에 모멘텀을 통합하는 새로운 적응형 방법을 개발하기 위해.
• 헤비볼트 및 네스터로프 모멘텀 메커니즘을 적응형 최적화에서 분석하기 위한 통합 이론적 프레임워크를 제공하기 위해.
• 제안된 방법과의 이론적 비교를 통해 Adam과 RMSProp가 특정 시나리오에서 발산하는 이유를 설명하기 위해.
• 모멘텀을 제거할 경우 표준 AdaGrad의 수렴 속도를 복원하기 위해.

제안 방법

• 헤비볼트 모멘텀을 사용한 좌표별 가중 AdaGrad와의 조합을 통해 새로운 통합된 모멘텀 메커니즘의 형태를 제안함으로써 AdaHB를 제안한다.
• 동일한 통합 프레임워크를 사용하여 네스터로프 가속 경사 모멘텀을 AdaGrad에 확장한 AdaNAG를 도입한다.
• 헤비볼트 및 네스터로프 모멘텀을 모두 포괄하는 새로운 통합 형태를 개발하여 공동 이론적 분석을 가능하게 한다.
• 비점근 분석 기법을 사용하여 비볼록 확률적 최적화 설정 하에서 수렴 속도를 유도한다.
• 역사적 기울기 기반으로 각 파라미터별 학습률을 조정하는 가중 좌표별 AdaGrad 업데이트 규칙을 사용한다.
• 기대 기울기 노름을 경계함으로써 수렴을 분석하고, O(log T / √T) 속도에 도달한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화 설정에서 헤비볼트 및 네스터로프 모멘텀을 분석하기 위한 통합 이론적 프레임워크를 개발할 수 있는가?
• RQ2 비볼록 확률적 설정에서 AdaGrad와 모멘텀을 조합한 적응형 방법의 비점근 수렴 속도는 무엇인가?
• RQ3 왜 Adam과 RMSProp는 특정 상황에서 발산하는가? 그리고 제안된 방법과의 차이는 무엇인가?
• RQ4 모멘텀을 제거했을 경우 제안된 방법이 표준 AdaGrad의 수렴 속도를 복원하는가?
• RQ5 가중 좌표별 AdaGrad와 모멘텀 통합은 최적화 안정성과 수렴에 어떤 영향을 미치는가?

주요 결과

• AdaHB와 AdaNAG는 비볼록 확률적 최적화에서 O(log T / √T)의 비점근 수렴 속도를 달성하며, 이는 중요한 이론적 기여이다.
• 제안된 헤비볼트 및 네스터로프 모멘텀의 통합 형태는 공동 분석을 가능하게 하며, 이들이 적응형 설정에서 어떻게 작용하는지에 대한 이론적 통찰을 제공한다.
• 분석을 통해 Adam과 RMSProp의 발산 원인을 특정 조건 하에서 안정적인 기울기 적응을 유지하지 못한다는 점에서 밝혀낸다.
• 모멘텀 항이 사라질 경우 제안된 방법은 좌표별 AdaGrad로 축소되며, 이에 따른 수렴 속도는 알려진 O(log T / √T)와 일치한다.
• 이론적 프레임워크는 딥러닝에서 적응형 최적화 방법의 이해와 향상에 기초를 제공한다.
• 결과는 비볼록 설정에서 수렴을 보장하기 위해 적응형 방법에 모멘텀 통합을 신중히 설계해야 한다는 점을 시사한다.