[논문 리뷰] Optimal Linear Decay Learning Rate Schedules and Further Refinements

Aaron Defazio, Ashok Cutkosky외 2명|arXiv (Cornell University)|2023. 10. 11.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 딥러닝 최적화를 위한 이론적으로 탄탄하고 문제 적응형 학습률 스케줄링 프레임워크를 제안한다. 이전 실행에서 유도된 기울기 노름 시퀀스를 정교화함으로써, 이전에는 실무에서만 히우리스틱으로 사용되었던 웜업과 선형 감쇠를 모두 포함한 스케줄을 도출한다. 다양한 딥러닝 작업 10개에서 선형 감쇠가 코시안 및 기타 스케줄보다 우월함을 입증하며, 정교화 과정을 통해 추가적인 성능 향상이 가능함을 보여준다.

ABSTRACT

Learning rate schedules used in practice bear little resemblance to those recommended by theory. We close much of this theory/practice gap, and as a consequence are able to derive new problem-adaptive learning rate schedules. Our main technical contribution is a refined analysis of learning rate schedules for a wide class of optimization algorithms (including SGD). When considering only worst-case analysis, our theory predicts that the optimal choice is the linear decay schedule where the step-size is set proportional to 1 - t/T, where t is the current iteration and T is the total number of steps. To go beyond this worst-case analysis, we use the observed gradient norms to derive schedules refined for any particular task. These refined schedules exhibit learning rate warm-up and rapid learning rate annealing near the end of training. Ours is the first systematic approach to automatically yield both of these properties. We perform the most comprehensive evaluation of learning rate schedules to date, evaluating across 10 diverse deep learning problems, a series of LLMs, and a suite of logistic regression problems. We validate that overall, the linear-decay schedule outperforms all commonly used default schedules including cosine annealing. Our adaptive schedule refinement method gives further improvements.

연구 동기 및 목표

• 딥러닝에서 이론적 학습률 스케줄링과 실무적 선택 간의 지속적인 격차를 해소하기 위해.
• 최종 반복의 수렴 분석을 실제 최적화 실무와 조율하기 위해.
• 관측된 기울기 통계를 이용해 학습률 스케줄링을 정교화하는 체계적이고 문제 적응형 방법을 개발하기 위해.
• 최악의 경우 가정 하에 마지막 반복에 대해 선형 감쇠가 이론적으로 최적임을 입증하기 위해.
• 이론적으로 웜업과 빠른 감쇠 행동이 자연스럽게 유도되는지, 아니면 단지 경험적 히우리스틱인지 해결하기 위해.

제안 방법

• 전체 예상 기울기 노름 시퀀스를 사용해 최종 반복의 함수 값에 대한 새로운 이론적 경계를 제안한다.
• 각 단계의 학습률 크기를 향후 기울기 노름의 역수 제곱의 곱으로 계산하는 학습률 스케줄링을 설계한다: $\eta_t = w_t \sum_{p=t+1}^T w_p $, 여기서 $ w_t = \hat{G}_t^{-2} $.
• 원시 기울기 노름에 중앙값 필터를 적용해 노이즈를 완화하고 스케줄링 정교화의 강건성을 향상시킨다.
• 사전 훈련 실행을 통해 기울기 노름 시퀀스를 수집한 후, 후속 훈련을 위한 정교화된 적응형 스케줄을 생성한다.
• SGD를 넘어서서도 점점 줄어드는 회귀를 가지는 모든 최적화 알고리즘으로 일반화하여, Adam 및 유사 방법에의 적용을 가능하게 한다.
• 최종 스케줄을 정규화하여 최대 학습률이 표준 기준선과 일치하도록 보장한다.

Figure 1: Example gradient norm sequences (top row) and the resulting refined schedules given by Algorithm 1 (bottom row). Black dashed line at $y=1$ shown for reference. Percentage of runtime on the x-axis.

실험 결과

연구 질문

• RQ1 왜 표준 이론적 학습률 스케줄링은 딥러닝에서 실무 성능과 일치하지 않는가?
• RQ2 최악의 경우 가정 하에 SGD의 마지막 반복에 대해 이론적으로 최적의 학습률 스케줄링은 무엇인가?
• RQ3 이전 실행에서의 기울기 노름 시퀀스를 사용해 일반화 및 수렴을 향상시키는 적응형 스케줄링을 도출할 수 있는가?
• RQ4 이론적으로 웜업과 선형 감쇠 행동이 자연스럽게 도출되는가, 아니면 단지 경험적 히우리스틱인가?
• RQ5 제안된 정교화 방법은 다양한 딥러닝 작업에서 코시안 감쇠와 같은 표준 스케줄링과 비교해 어떻게 성능을 냅니까?

주요 결과

• 이전에는 경험적으로만 사용되었던 선형 감쇠 학습률 스케줄링이, 최악의 경우 가정 하에 SGD의 마지막 반복에 대해 이론적으로 최적임을 입증하였다.
• 제안된 정교화 방법은 표준 이론적 스케줄링에 존재하지 않는 웜업과 급격한 감쇠를 모두 포함한 스케줄을 생성한다.
• 비적응형 스케줄링 중에서 선형 감쇠는 ResNet-50, ViT, GPT, RoBERTa, DLRM 등 포함한 10개의 평가된 딥러닝 작업 전반에서 코시안 감쇠와 동등하거나 슈퍼어리어를 기록한다.
• 정교화된 스케줄은 표준 스케줄 대비 일관되게 일반화 성능을 향상시키며, ResNet-50, ViT, GPT, RoBERTa, DLRM 등 다양한 모델에서 성능 향상을 관찰하였다.
• 이 방법은 일반화 가능하다: 점점 줄어드는 회귀를 가지는 모든 최적화 알고리즘에 적용 가능하며, Adam을 포함한 이론적으로 탄탄한 적응형 스케줄링을 가능하게 한다.
• 경험적 결과는 이론적으로 도출된 스케줄이 관측된 기울기 노름을 사용해 정교화될 경우 실무에서 측정 가능한 성능 향상을 이끌어낸다는 것을 검증한다.

Figure 2: Gradient Norm sequences and the resulting Refined schedules, generated using an initial linear decay schedule with warmup for the initial run. Log scale views are inset for scale reference. Fitted polynomial decay schedules are overlayed in blue.