[논문 리뷰] On the adequacy of untuned warmup for adaptive optimization

Jerry Ma, Denis Yarats|arXiv (Cornell University)|2019. 10. 09.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 22

한 줄 요약

이 논문은 단순한 선형 웜업(특히 $2/(1-\beta_2)$ 훈련 반복 동안)이 적응형 학습률 분산을 자동으로 교정한다는 주장을 하는 더 복잡한 RAdam 알고리즘만큼 성능을 내는 것으로 보여준다. 저자들은 RAdam이 고정된 웜업을 갖는 4단계의 초기 모멘타ム 스텝 이후의 Adam과 동일하다고 밝히며, 초기 훈련에서의 업데이트 크기의 불안정성, 즉 기울기 분산이 아니라, 웜업이 필요한 이유를 설명한다.

ABSTRACT

Adaptive optimization algorithms such as Adam are widely used in deep learning. The stability of such algorithms is often improved with a warmup schedule for the learning rate. Motivated by the difficulty of choosing and tuning warmup schedules, recent work proposes automatic variance rectification of Adam's adaptive learning rate, claiming that this rectified approach ("RAdam") surpasses the vanilla Adam algorithm and reduces the need for expensive tuning of Adam with warmup. In this work, we refute this analysis and provide an alternative explanation for the necessity of warmup based on the magnitude of the update term, which is of greater relevance to training stability. We then provide some "rule-of-thumb" warmup schedules, and we demonstrate that simple untuned warmup of Adam performs more-or-less identically to RAdam in typical practical settings. We conclude by suggesting that practitioners stick to linear warmup with Adam, with a sensible default being linear warmup over $2 / (1 - β_2)$ training iterations.

연구 동기 및 목표

• RAdam의 저자들이 주장하는 바와 같이, RAdam이 학습률 웜업이 필요 없음을 제기하는 데에 도전하며, 적응형 최적화에서 웜업의 근본적 이유를 재평가한다.
• Adam의 초기 훈련에서의 불안정성이 기울기 분산보다 업데이트 크기의 동역학에 의해 더 잘 설명되는지 조사한다.
• 다양한 모델과 하이퍼파라미터에서 RAdam의 성능을 따라잡는 단순하고 튜닝되지 않은 Adam 웜업 스케줄을 제안한다.
• 비용이 많이 들지 않는 하이퍼파라미터 튜닝을 피하면서도 훈련 안정성과 수렴성을 유지할 수 있는 실용적이고 기본적인 웜업 스케줄을 제공한다.

제안 방법

• RAdam을 4단계의 초기 헤비볼 모멘타움 스텝과 고정된 웜업 스케줄을 갖는 Adam으로 재표현하여, 이는 본질적으로 새로운 알고리즘이 아니라는 것을 보여준다.
• 시뮬레이션을 통해 초기 훈련 단계에서 Adam의 파라미터 업데이트 크기의 크기를 분석한다. 이는 국소 최솟값에서도 시행된다.
• 하이퍼파라미터 $\beta_2$ 기반의 경험칙 웜업 스케줄을 제안하며, 특히 $2/(1 - \beta_2)$ 반복 동안 선형 웜업을 제안한다.
• 다양한 모델과 하이퍼파라미터 설정에서 튜닝되지 않은 선형 웜업과 RAdam의 훈련 동역학과 성능을 비교한다.
• 시뮬레이션 기반 분석을 통해 Adam의 업데이트 크기가 빠르게 정적 분포에 수렴함을 보여주며, 초기 불안정성이 기울기 분산 때문이 아니라는 것을 시사한다.
• 다양한 $\beta_2$ 값과 학습률을 포함한 표준 및 극단적 하이퍼파라미터 영역에서 제안된 웜업 스케줄의 효과성을 평가한다.

실험 결과

연구 질문

• RQ1 RAdam의 저자들이 주장하는 것처럼, Adam에서 학습률 웜업이 기울기 분산에 의해 실제로 유도되는가?
• RQ2 다양한 딥러닝 환경에서 단순하고 튜닝되지 않은 Adam 웜업 스케줄이 RAdam의 성능을 따라잡을 수 있는가?
• RQ3 Adam의 초기 훈련에서의 불안정성의 실제 원인은 기울기 분산인지, 아니면 업데이트 크기의 동역학인가?
• RQ4 Adam의 초기 훈련 단계에서 파라미터 업데이트 크기는 어떻게 변화하며, 빠르게 안정화되는가?
• RQ5 하이퍼파라미터 튜닝이 필요 없이도 훈련 안정성을 유지할 수 있는 기본 웜업 스케줄을 유도할 수 있는가?

주요 결과

• RAdam은 수학적으로 4단계의 초기 모멘타움 스텝 이후 고정된 웜업 스케줄을 갖는 Adam과 동일하며, 본질적으로 새로운 최적화 방법이 아니다.
• 기울기 분산 기반 설명은 Adam의 첫 번째 및 두 번째 모멘타움 추정기 간의 상관관계를 忽시하므로 잘못된 것이다.
• 시뮬레이션된 국소 최솟값에서도 Adam은 초기 단계에서 업데이트 크기에 있어 상당한 비정규성을 보이며, 이는 기울기 분산을 넘어서는 불안정성의 근본 원인을 시사한다.
• 선형 웜업을 $2/(1 - \beta_2)$ 반복 동안 수행하면 다양한 모델과 하이퍼파라미터에서 RAdam과 구별할 수 없을 정도로 동일한 성능과 훈련 동역학을 달성한다.
• RAdam과 제안된 경험칙 스케줄에서의 효과적인 웜업 기간은 $\beta_2 = 0.999$일 때 약 1000회 반복이다. 이는 업데이트 크기가 약 40회 반복 내에 이론적으로 수렴하는 것과는 대비된다.
• Adam의 후기 단계에서의 업데이트 크기는 기울기 분산이나 정적 상태에 크게 영향을 받지 않으며, 이는 학습률 감소가 후기 단계 수렴을 향상시키는 주요 수단임을 시사한다.