[논문 리뷰] On the Convergence of AdaGrad with Momentum for Training Deep Neural Networks

Fangyu Zou, Li Shen|arXiv (Cornell University)|2018. 08. 10.

Stochastic Gradient Optimization Techniques인용 수 17

한 줄 요약

이 논문은 가중치가 부여된 적응형 학습률과 일반화된 운동량 기반의 통합된 적응형 확률적 최적화 방법인 AdaUSM을 제안한다. 이는 헤비볼과 네스테로프 운동량을 모두 포함하는 특수한 경우로 간주할 수 있다. 비볼록 확률적 환경에서 O(log(T)/√T) 수렴 속도를 확립하고, 지수적 증가하는 가중치를 가진 특수한 경우로서 Adam과 RMSProp의 이론적 통찰을 제공한다.

ABSTRACT

Integrating adaptive learning rate and momentum techniques into SGD leads to a large class of efficiently accelerated adaptive stochastic algorithms, such as Nadam, AccAdaGrad, extit{etc}. In spite of their effectiveness in practice, there is still a large gap in their theories of convergences, especially in the difficult non-convex stochastic setting. To fill this gap, we propose \emph{weighted AdaGrad with unified momentum}, dubbed AdaUSM, which has the main characteristics that (1) it incorporates a unified momentum scheme which covers both the heavy ball momentum and the Nesterov accelerated gradient momentum; (2) it adopts a novel weighted adaptive learning rate that can unify the learning rates of AdaGrad, AccAdaGrad, Adam, and RMSProp. Moreover, when we take polynomially growing weights in AdaUSM, we obtain its $\mathcal{O}(\log(T)/\sqrt{T})$ convergence rate in the non-convex stochastic setting. We also show that the adaptive learning rates of Adam and RMSProp correspond to taking exponentially growing weights in AdaUSM, which thereby provides a new perspesctive for understanding Adam and RMSProp. Lastly, comparative experiments of AdaUSM against SGD with momentum, AdaGrad, AdaEMA, Adam, and AMSGrad on various deep learning models and datasets are also provided.

연구 동기 및 목표

• 비볼록 딥러닝 환경에서 적응형 확률적 최적화 방법의 수렴 분석에 대한 이론적 격차를 메운다.
• AdaGrad, Adam, RMSProp 등의 기존 적응형 방법을 일반화된 운동량 기반의 단일 프레임워크로 통합한다.
• 주요 적응형 최적화기에서 학습률 스케줄을 일반화하는 가중치가 부여된 적응형 학습률 메커니즘을 개발한다.
• 비볼록 확률적 최적화 환경에서 제안된 방법의 이론적 수렴 속도를 확립한다.
• AdaUSM 프레임워크 하에서 지수적 증가하는 가중치를 가진 특수한 경우로서 Adam과 RMSProp의 새로운 이론적 해석을 제공한다.

제안 방법

• 가중치가 부여된 적응형 학습률과 일반화된 운동량 기반의 통합 최적화 프레임워크인 AdaUSM을 제안한다.
• 헤비볼과 네스테로프 가속화된 경사 하강법 운동량을 모두 포함하는 특수한 경우로 간주할 수 있는 통합된 운동량 공식을 도입한다.
• AdaGrad, AccAdaGrad, Adam, RMSProp의 학습률을 일반화하는 가중치가 부여된 적응형 학습률을 설계한다.
• AdaUSM에서 다항식 증가하는 가중치를 사용하여 비볼록 확률적 환경에서 O(log(T)/√T) 수렴 속도를 유도한다.
• Adam과 RMSProp가 AdaUSM에서 지수적 증가하는 가중치를 가진 특수한 경우임을 보이며, 이러한 방법들의 이론적 관점에 새로운 통찰을 제공한다.
• SGD와 운동량, AdaGrad, AdaEMA, Adam, AMSGrad와의 비교를 위해 다양한 딥러닝 모델과 데이터셋에서 AdaUSM을 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 적응형 학습률과 일반화된 운동량을 모두 포함하는 통합 최적화 프레임워크를 개발할 수 있는가?
• RQ2 제안된 방법이 비볼록 확률적 최적화 환경에서 이론적으로 어떤 수렴 속도를 가지는가?
• RQ3 특정한 가중치 증가 패턴 하에서 기존 방법들인 Adam과 RMSProp이 제안된 프레임워크와 어떻게 관련되어 있는가?
• RQ4 제안된 방법이 최신의 적응형 최적화기들보다 더 나은 수렴 또는 일반화 성능을 달성하는가?
• RQ5 가중치가 부여된 적응형 학습률의 관점에서 Adam과 RMSProp의 이론적 행동을 더 잘 이해할 수 있는가?

주요 결과

• 다항식 증가하는 가중치를 사용할 경우, AdaUSM은 비볼록 확률적 환경에서 O(log(T)/√T) 수렴 속도를 달성한다.
• Adam과 RMSProp의 적응형 학습률은 지수적 증가하는 가중치를 가진 AdaUSM의 특수한 경우로 밝혀졌다.
• AdaUSM의 통합된 운동량 기반은 헤비볼과 네스테로프 운동량을 극한 경우로 포함한다.
• 비교 실험을 통해 AdaUSM은 다양한 딥러닝 모델과 데이터셋에서 SGD와 운동량, AdaGrad, AdaEMA, Adam, AMSGrad와 경쟁 가능한 성능을 보였다.
• 이론적 프레임워크는 실질적으로 Adam과 RMSProp의 행동과 수렴 특성에 대한 새로운 통찰을 제공한다.
• 가중치가 부여된 적응형 학습률 메커니즘이 다양한 적응형 최적화 방법 간의 학습률 스케줄을 성공적으로 일반화하였다.