[논문 리뷰] Weighted AdaGrad with Unified Momentum

Fangyu Zou, Li Shen외 3명|arXiv (Cornell University)|2018. 08. 10.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 41

한 줄 요약

이 논문은 일반화된 운동량 기반 방법과 가중치가 부여된 적응형 학습률을 통합한 통합적 적응형 확률적 최적화 방법인 AdaUSM을 제안한다. 비볼록 확률적 환경에서 O(log(T)/√T) 수렴 속도를 달성한다. Adam, RMSProp, AdaGrad, AccAdaGrad를 하나의 프레임워크 안에서 통합하며, 다항수 및 지수수 가중치 기반 방식을 통해 이들의 행동에 대한 이론적 통찰을 제공한다.

ABSTRACT

Integrating adaptive learning rate and momentum techniques into SGD leads to a large class of efficiently accelerated adaptive stochastic algorithms, such as Nadam, AccAdaGrad, extit{etc}. In spite of their effectiveness in practice, there is still a large gap in their theories of convergences, especially in the difficult non-convex stochastic setting. To fill this gap, we propose \emph{weighted AdaGrad with unified momentum}, dubbed AdaUSM, which has the main characteristics that (1) it incorporates a unified momentum scheme which covers both the heavy ball momentum and the Nesterov accelerated gradient momentum; (2) it adopts a novel weighted adaptive learning rate that can unify the learning rates of AdaGrad, AccAdaGrad, Adam, and RMSProp. Moreover, when we take polynomially growing weights in AdaUSM, we obtain its $\mathcal{O}(\log(T)/\sqrt{T})$ convergence rate in the non-convex stochastic setting. We also show that the adaptive learning rates of Adam and RMSProp correspond to taking exponentially growing weights in AdaUSM, which thereby provides a new perspesctive for understanding Adam and RMSProp. Lastly, comparative experiments of AdaUSM against SGD with momentum, AdaGrad, AdaEMA, Adam, and AMSGrad on various deep learning models and datasets are also provided.

연구 동기 및 목표

• 비볼록 환경에서 적응형 확률적 최적화 방법의 수렴 분석에 대한 이론적 격차를 메우기 위해.
• Adam, RMSProp, AdaGrad, AccAdaGrad와 같은 기존의 적응형 방법들을 하나의 최적화 프레임워크 안에 통합하기 위해.
• 기존의 학습률 스케줄링을 일반화하는 새로운 가중치가 부여된 적응형 학습률을 도입하기 위해.
• 비볼록 확률적 최적화 환경에서 제안된 방법에 대한 이론적 수렴 속도 보장을 제공하기 위해.
• 통합 프레임워크 내에서 지수수 가중치 성장의 관점에서 Adam과 RMSProp을 이해하는 데 새로운 시각을 제공하기 위해.

제안 방법

• 중력자전과 네스터로프 가속화된 경사 하강법 운동량을 모두 포함하는 통합 운동량 기반 방법을 제안한다.
• AdaGrad, AccAdaGrad, Adam, RMSProp의 학습률를 일반화하는 가중치가 부여된 적응형 학습률을 도입한다.
• 비볼록 확률적 환경에서 O(log(T)/√T) 수렴 속도를 달성하기 위해 적응형 학습률에 다항수 성장 가중치를 적용한다.
• Adam과 RMSProp이 제안된 프레임워크 내에서 지수수 성장 가중치에 해당함을 도출한다.
• 가중치 매개변수를 통해 운동량과 적응형 학습률을 동적으로 통합하는 단일 최적화 알고리즘인 AdaUSM을 설계한다.
• 기본적인 조건(유한한 기울기 및 확률적 기울기) 하에서 비볼록 확률적 최적화의 수렴성을 분석한다.

실험 결과

연구 질문

• RQ1 적응형 학습률과 일반화된 운동량을 모두 포함하는 통합 최적화 프레임워크를 설계할 수 있는가?
• RQ2 비볼록 확률적 최적화에서 이러한 통합 방법이 달성할 수 있는 이론적 수렴 속도는 무엇인가?
• RQ3 기존의 방법들인 Adam과 RMSProp은 이러한 통합 프레임워크와 어떻게 관련이 있는가?
• RQ4 다양한 가중치 성장 패턴(다항수 대비 지수수)이 수렴성과 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 방법은 기존의 적응형 확률적 최적화 방법보다 성능이 뛰어나거나 더 강력한 이론적 기반을 제공하는가?

주요 결과

• AdaUSM는 비볼록 확률적 최적화에서 O(log(T)/√T) 수렴 속도를 달성하며, 적응형 방법 중 최고의 알려진 속도와 동일하다.
• AdaUSM의 적응형 학습률은 단일 가중치 기반 공식을 통해 AdaGrad, AccAdaGrad, Adam, RMSProp의 학습률를 일반화한다.
• Adam과 RMSProp이 AdaUSM 내에서 지수수 성장 가중치에 해당함을 입증하여, 이들의 행동에 대한 새로운 이론적 해석을 제시한다.
• 실험 결과, AdaUSM은 여러 딥러닝 모델과 데이터셋에서 SGD with momentum, AdaGrad, AdaEMA, Adam, AMSGrad와 비교해도 성능이 뛰어나거나 동등한 성능을 보였다.
• AdaUSM의 통합 운동량 기반 방법은 중력자전과 네스터로프 운동량을 특수 케이스로 효과적으로 포괄한다.
• AdaUSM의 다항수 가중치 성장 방식은 실용적 성능을 희생시키지 않은 채 개선된 이론적 수렴 보장을 제공한다.