[논문 리뷰] On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization

Dongruo Zhou, Jinghui Chen외 3명|arXiv (Cornell University)|2018. 08. 16.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 82

한 줄 요약

본 논문은 배치되지 않은 stochastic 최적화에서 적응형 그래디언트 방법(AMSGrad, RMSProp, AdaGrad)에 대한 미세한 수렴 분석을 제공하며, 기대값 및 고확률 보장을 제시하고 그래디언트 희소성 하에서 SGD에 비해 이점을 보여준다.

ABSTRACT

Adaptive gradient methods are workhorses in deep learning. However, the convergence guarantees of adaptive gradient methods for nonconvex optimization have not been thoroughly studied. In this paper, we provide a fine-grained convergence analysis for a general class of adaptive gradient methods including AMSGrad, RMSProp and AdaGrad. For smooth nonconvex functions, we prove that adaptive gradient methods in expectation converge to a first-order stationary point. Our convergence rate is better than existing results for adaptive gradient methods in terms of dimension. In addition, we also prove high probability bounds on the convergence rates of AMSGrad, RMSProp as well as AdaGrad, which have not been established before. Our analyses shed light on better understanding the mechanism behind adaptive gradient methods in optimizing nonconvex objectives.

연구 동기 및 목표

• 비정규(nonconvex) 확률적 최적화에서 적응형 그래디언트 방법의 수렴 보장을 연구하는 동기를 부여하고, 실무와 이론 사이의 격차를 다룬다.
• Smooth한 비강건(nonconvex) 목적함수를 가진 AMSGrad, RMSProp, AdaGrad에 대한 통합적이고 미세한 수렴 분석을 개발한다.
• 1차 차수 정지점으로의 수렴에 대해 기대값 기반과 고확률 보장 모두를 확립한다.
• 희소 그래디언트 하에서의 차수 의존성 및 반복 پیچ 증가를 개선하고, SGD와 비교하여 차원 의존성을 개선한다.

제안 방법

• L-smooth objectives를 가지는 stochastic nonconvex 최적화에서 일반적인 적응형 그래디언트 방법(AMSGrad, RMSProp, AdaGrad) 분석.
• 무한대 부등식 강화 가정(G_infty)과 L-smoothness 하에서 보조 시퀀스 z_t를 도입하여 stochastic momentum을 다룬다.
• 성장 조건 ||g_{1:T,i}||_2 ≤ G_infty T^s 아래에서 Stationary point로의 수렴 속도: E[||∇f(x_t)||^2] ≤ M1/(Tα) + Md/T + αMd/(T^{1/2−s})를 도출한다.
• 서브-가우시안(stochastic gradients)을 가정하여 고확률 수렴 보장을 제공하고, 확률적 보장을 갖는 유사한 속도 형태를 제시한다.
• 기존 결과와 비교하여 d 의 의존성을 개선하고, 희소 그래디언트 구간(s<1/2)에서 SGD보다 엄밀히 더 나은 속도를 보인다.

실험 결과

연구 질문

• RQ1 AMSGrad, RMSProp, AdaGrad가 stochastic 비convex 최적화에서 1차 차수 정지점으로 수렴하는가?
• RQ2 차원 d, 반복 횟수 T, 그래디언트 희소성(s로 표현)에 따른 이 적응적 방법의 정확한 수렴 속도는 무엇인가?
• RQ3 비정규 설정에서 이러한 적응적 방법에 대해 고확률 수렴 보장을 확립할 수 있는가?
• RQ4 희소 그래디언트 하에서 제시된 속도는 SGD와 어떻게 비교되는가?
• RQ5 수정 알고리즘(예: AMSGrad의 비증가 학습률)이 수렴 보장에 어떤 역할을 하는가?

주요 결과

• AMSGrad, RMSProp, AdaGrad에 대해 평활한 비정규 목적함수에서 기대값으로의 수렴이 증명된다.
• AMSGrad는 누적 그래디언트의 성장 bound 아래 O(d^{1/2}/T^{3/4−s/2} + d/T) 속도를 달성하며, 그래디언트가 희소할 때(s < 1/2) SGD보다 개선된다.
• 최악의 경우(s = 1/2) 속도는 O(√d/√T + d/T)로, 이전 경계들보다 차원 의존성이 더 우수하다.
• AMSGrad, RMSProp, AdaGrad에 대해 단일 실행 성능 보장을 다루는 고확률 수렴 보장을 확립한다.
• AdaGrad, RMSProp, AMSGrad은 주어진 조건 하에서 동일한 속도 형태를 공유하며, 각 방법에 대한 명시 상수가 제공된다.
• 해당 분석은 stochastic momentum을 다루기 위해 보조 시퀀스 z_t를 도입하고 속도 도출을 가능하게 하는 보조-경계 보정을 입증한다.