[논문 리뷰] On the Variance of the Adaptive Learning Rate and Beyond

Liyuan Liu, Haoming Jiang외 5명|arXiv (Cornell University)|2019. 08. 08.

Advanced Neural Network Applications참고 문헌 28인용 수 607

한 줄 요약

이 논문은 왜 학습률 워밍업이 Adam과 같은 적응형 최적화를 돕는지, 초기 학습에서 적응 학습률의 분산을 줄임으로써 이를 설명하고, 그러한 분산을 명시적으로 보정하는 Rectified Adam (RAdam)를 도입하여 견고한 이론적 근거와 강력한 실험적 결과를 제시한다.

ABSTRACT

The learning rate warmup heuristic achieves remarkable success in stabilizing training, accelerating convergence and improving generalization for adaptive stochastic optimization algorithms like RMSprop and Adam. Here, we study its mechanism in details. Pursuing the theory behind warmup, we identify a problem of the adaptive learning rate (i.e., it has problematically large variance in the early stage), suggest warmup works as a variance reduction technique, and provide both empirical and theoretical evidence to verify our hypothesis. We further propose RAdam, a new variant of Adam, by introducing a term to rectify the variance of the adaptive learning rate. Extensive experimental results on image classification, language modeling, and neural machine translation verify our intuition and demonstrate the effectiveness and robustness of our proposed method. All implementations are available at: https://github.com/LiyuanLucasLiu/RAdam.

연구 동기 및 목표

• 적응형 최적화에서 초기 학습 단계의 훈련 불안정성의 근본 원인을 식별한다.
• 분산 감소로서의 워밍업에 대한 이론적 정당성을 제공한다.
• 분산 보정 변형 Adam(RAdam)을 제안하고 그 특성을 분석한다.
• 언어 모델링, 이미지 분류, 기계 번역 과제 전반에서 RAdam을 경험적으로 검증한다.

제안 방법

• 모멘텀과 적응적 스텝 크기로 매개변수화된 일반적인 적응형 최적화 프레임워크를 제시한다.
• 적응형 학습률의 분산을 분석하고 표본 크기가 작을 때 크다고 보인다.
• 분산 문제를 경험적으로 뒷받침하기 위해 두 가지 분산 감소 변형(Adam-2k 및 Adam-eps)을 도입한다.
• 측정된 rho_t(유효 SMA 길이)에 기초해 적응형 학습률의 분산을 정규화하는 보정 계수 r_t를 도출한다.
• rho_t > 4인 경우 분산 보정 항을 적용하고 그렇지 않으면 비적응 모멘텀 업데이트를 사용하는 Rectified Adam(RAdam)을 제안한다.
• 실용적 단계와 바이어스 보정을 포함하는 RAdam 알고리즘(알고리즘 2)을 제공한다.

실험 결과

연구 질문

• RQ1 초기 단계의 적응 학습률의 높은 분산이 Adam에서 불안정성을 초래하거나 나쁜 국소 최적점으로의 수렴을 야기하는가?
• RQ2 워밍업이 이론적으로 적응형 최적화의 분산 감소로 해석될 수 있는가?
• RQ3 추가 하이퍼파라미터를 조정하지 않고도 적응 학습률을 안정시키는 원칙적인 보정을 설계할 수 있는가?
• RQ4 제안된 RAdam이 일반적인 Adam 및 워밍업 기준선과 비교하여 언어 모델링, 이미지 분류, 신경 기계 번역에서 어떻게 성능을 발휘하는가?

주요 결과

• 적응 학습률 분산은 초기 학습에서 샘플 수가 제한되어 크며, 이로 인해 업데이트가 불안정해진다.
• 워밍업은 적응형 최적화기의 분산 감소 기법으로 해석될 수 있다.
• Rectified Adam (RAdam)은 초기 단계의 분산을 줄이고 태스크 전반에서 Adam의 성능에 필적하거나 이를 능가하며, 학습률 변화에 대한 견고성을 보인다.
• RAdam은 언어 모델링(One Billion Word)과 이미지 분류(CIFAR10, ImageNet)에서 일반적인 Adam에 비해 일관된 개선을 달성한다.
• RAdam은 IWSLT’14 De-En/En-De, WMT’16 En-De 등의 신경 기계 번역 데이터에서 워밍업을 갖춘 Adam과 비슷한 성능을 달성하면서 하이퍼파라미터 조정이 덜 필요하다.
• 시뮬레이션과 이론적 분석은 분산 보정 메커니즘과 그 실용적 효용성을 뒷받침한다.