[논문 리뷰] How to decay your learning rate

Aitor Lewkowycz|arXiv (Cornell University)|2021. 03. 23.

Topic Modeling참고 문헌 22인용 수 16

한 줄 요약

이 논문은 학습률이 감소하기 시작하는 시점, 즉 가중치 노름이 감소하지 않고 진동하기 시작할 때 학습률을 감소시키는 자동 학습률 스케줄러 ABEL을 제안한다. 이는 모델 수렴의 징후이다. ABEL은 수작업으로 조정된 스케줄러와 유사한 성능을 달성하면서도 하이퍼파rameter에 덜 민감하며, 복잡한 스케줄러가 유의미한 성능 향상을 가져오기 위해서는 가중치 노름의 진동이 발생해야 하며, 그렇지 않다면 단순한 학습 종료 시 감소만으로도 충분하다는 점을 보여준다.

ABSTRACT

Complex learning rate schedules have become an integral part of deep learning. We find empirically that common fine-tuned schedules decay the learning rate after the weight norm bounces. This leads to the proposal of ABEL: an automatic scheduler which decays the learning rate by keeping track of the weight norm. ABEL's performance matches that of tuned schedules and is more robust with respect to its parameters. Through extensive experiments in vision, NLP, and RL, we show that if the weight norm does not bounce, we can simplify schedules even further with no loss in performance. In such cases, a complex schedule has similar performance to a constant learning rate with a decay at the end of training.

연구 동기 및 목표

• 딥 러닝에서 복잡한 학습률 스케줄러가 단순한 스케줄러보다 성능을 높이는 시점과 이유를 이해하는 것.
• 최적의 학습률 감소 시점 예측을 위한 핵심 지표로 가중치 노름의 진동을 식별하는 것.
• 수정된 하이퍼파rameter 조정 없이 모델 다이내믹스에 적응하는 자동화되고 강건한 스케줄러를 개발하는 것.
• 복잡한 스케줄러가 필요한지 아니면 간단한 대체 방법으로도 충분한지 다양한 훈련 환경에서 판단하는 것.
• L2 정규화가 가중치 노름 진동을 가능하게 하고 스케줄러 효과성에 미치는 영향을 조사하는 것.

제안 방법

• ABEL은 모든 레이어의 네트워크 가중치 L2 노름을 모니터링하여 고정된 학습률 하에서 노름이 감소하지 않고 증가하기 시작할 때 초기 훈련 단계의 종료를 감지한다.
• 스케줄러는 가중치 노름이 명확한 '진동'을 보일 때 학습률 감소를 트리거한다. 이는 고정된 학습률 하에서 단조 감소 후 단조 증가하는 패턴으로 정의된다.
• 이 방법은 기본 학습률과 감소 요소라는 두 가지 주요 하이퍼파rameter만 사용하므로, 조정된 단계별 또는 코사인 스케줄러보다 간단하고 강건하다.
• 이 방법은 계산적으로 경량이며, 단지 두 개의 스칼라 값(현재 및 이전 가중치 노름)을 저장하기만 하므로 메모리나 계산 비용에 거의 영향을 주지 않는다.
• 이 접근법은 다양한 아키텍처와 데이터셋을 사용한 비전(ResNet, VGG), NLP(Transformer), 강화학습 작업에서 검증되었다.
• 연구는 표준 스케줄러(단계별, 코사인 감소)와 비교하며, L2 정규화와 가중치 초기화 방식의 변화에 따라 성능을 평가했다.

실험 결과

연구 질문

• RQ1 훈련 중 언제가 학습률 감소에 가장 적절한 시점이며, 이를 신뢰성 있게 예측할 수 있는 역학적 신호는 무엇인가?
• RQ2 가중치 노름 진동이 복잡한 학습률 스케줄러가 성능 향상을 가져오는 데 필수적인 조건인가?
• RQ3 가중치 노름 진동이 발생하지 않는 상황에서, 학습 종료 시 단순한 학습률 감소가 수작업 조정된 복잡한 스케줄러와 동등한 성능을 낼 수 있는가?
• RQ4 L2 정규화의 유무가 학습률 스케줄러의 효과성에 어떤 영향을 미치는가?
• RQ5 ABEL의 적응형 감소 메커니즘이 하이퍼파ram터 선택에 대한 강건성 측면에서 표준 스케줄러를 능가하는가?

주요 결과

• ABEL은 비전, NLP 및 강화학습 작업 전반에서 수작업으로 조정된 단계별 및 코사인 감소 스케줄러와 유사한 성능을 달성하며, 하이퍼파ram터에 대한 민감도가 크게 감소했다.
• 가중치 노름 진동—고정된 학습률 하에서 단조 감소 후 단조 증가하는 패턴—은 최적의 학습률 감소 시점 예측에 강력하고 일관된 지표이다.
• 복잡한 학습률 스케줄러는 가중치 노름 진동이 발생할 때에만 성능 이점을 제공한다. 그 외의 경우 단순한 학습 종료 시 감소만으로도 충분하며 종종 최적의 선택이다.
• L2 정규화가 없으면 가중치 노름 진동이 발생하지 않으며, 이는 NLP 및 RL 환경에서 복잡한 스케줄러가 단순한 감소보다 성능 향상이 없다는 것을 의미한다.
• L2 정규화를 제거하면 ImageNet 분류에서 모멘텀이 Adam보다 뛰어난 성능을 내는 것으로 알려진 이점이 사라지며, 이는 진동이 핵심적인 기반이라는 것을 시사한다.
• 최소 테스트 오차는 항상 학습률 감소 직후에 발생하며, 이는 스케줄링의 노이즈 감소 이론적 근거를 지지한다.