[논문 리뷰] Learning an Adaptive Learning Rate Schedule

Zhen Xu, Andrew M. Dai외 2명|arXiv (Cornell University)|2019. 09. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 39

한 줄 요약

이 논문은 학습 dynamics에 반응하는 적응 학습률 스케줄을 자동으로 학습하는 강화 학습 프레임워크를 도입하고, 데이터셋과 아키텍처 전반에서 향상된 결과와 전이 가능성을 보여준다.

ABSTRACT

The learning rate is one of the most important hyper-parameters for model training and generalization. However, current hand-designed parametric learning rate schedules offer limited flexibility and the predefined schedule may not match the training dynamics of high dimensional and non-convex optimization problems. In this paper, we propose a reinforcement learning based framework that can automatically learn an adaptive learning rate schedule by leveraging the information from past training histories. The learning rate dynamically changes based on the current training dynamics. To validate this framework, we conduct experiments with different neural network architectures on the Fashion MINIST and CIFAR10 datasets. Experimental results show that the auto-learned learning rate controller can achieve better test results. In addition, the trained controller network is generalizable -- able to be trained on one data set and transferred to new problems.

연구 동기 및 목표

• 고차원 비볼록 최적화에서 다양한 학습 dynamics로 인한 고정 파라메트릭 형태를 넘어서는 유연한 학습률 스케줄의 필요성을 동기화한다.
• 과거의 학습 이력에 기반하여 학습률을 자동으로 적응시키는 강화 학습 프레임워크를 제안한다.
• 안정적인 학습률 제어를 가능하게 하는 적절한 상태 특징, 보상 신호, 그리고 행동 설계를 정의한다.
• 학습된 컨트롤러의 일반화 및 전이 가능성이 데이터셋과 아키텍처 전반에서 개선됨을 입증한다.

제안 방법

• 강화 학습 컨트롤러가 trainee 네트워크에서 관찰한 학습 dynamics를 바탕으로 학습률 스케일링 요인을 제안한다.
• 상태 관찰에는 train/validation loss, prediction variances, 마지막 계층 가중치의 통계, 그리고 이전 학습률이 포함된다.
• 보상은 매 스텝의 검증 손실로, 크레딧 할당에 대한 빈번한 피드백을 제공한다.
• 행동은 이전 스텝의 학습률에 적용되는 학습률 스케일링 요인으로, 워밍업과 감쇠를 가능하게 한다.
• 컨트롤러는 Proximal Policy Optimization (PPO)으로 훈련되어 누적 검증 손실을 최소화하는 정책을 학습한다.
• 실험은 Fashion-MNIST와 CIFAR-10에서 CNN 및 ResNet 아키텍처를 사용하여 자동으로 학습된 스케줄과 베이스라인의 스텝-디케이 스케줄을 비교한다.

실험 결과

연구 질문

• RQ1 RL 기반 컨트롤러가 고정 스텝 파라메트릭 스케줄보다 더 효과적인 적응 학습률 스케줄을 학습할 수 있는가?
• RQ2 학습된 컨트롤러가 서로 다른 데이터셋 및 모델 아키텍처에서 일반화되는가?
• RQ3 보상으로 매 스텝의 검증 손실을 사용할 때 크레딧 할당이 개선되어 최종 보상만 사용하는 경우보다 더 나은가?
• RQ4 학습률 스케일링 행동이 직접적으로 원시 학습률을 출력하는 것보다 더 안정적이고 전이 가능한가?

주요 결과

Dataset	Model	Test Loss (Baseline)	Test Accuracy (Baseline)	Test Loss (Auto-learned)	Test Accuracy (Auto-learned)
Fashion MNIST	CNN	0.2497 (0.0042)	0.9102 (0.0019)	0.2351 ∗ (0.0038)	0.9201 ∗ (0.0022)
Fashion MNIST	ResNet	0.2346 (0.0074)	0.9188 (0.0029)	0.2296 (0.0069)	0.9192 (0.0028)
CIFAR-10	CNN	0.9539 (0.0140)	0.6759 (0.0048)	0.9361 ∗ (0.0104)	0.6787 (0.0041)
CIFAR-10	ResNet	0.8317 (0.0155)	0.7395 (0.0206)	0.6288 ∗ (0.0196)	0.8181 ∗ (0.0069)

• 자동으로 학습된 스케줄은 모든 테스트 작업에서 베이스라인의 스텝-디케이 스케줄보다 더 나은 테스트 손실 및 정확도를 달성한다.
• 컨트롤러는 모델/데이터세트에 맞춰 워밍업-감쇠, 평활화 후 워밍업 및 감쇠 등 다양한 학습 패턴을 보이며 동적 적응을 나타낸다.
• 전이 실험에서 CIFAR-10에서 학습된 컨트롤러가 Fashion-MNIST로 효과적으로 전이되며 전이된 베이스라인보다 우수하다.
• 매 스텝 보상 신호는 학습 dynamics를 개선하고 최종 보상만 사용하는 경우보다 더 안정적인 학습률 제어를 가능하게 한다.
• 이 방법은 데이터셋의 CNN 및 ResNet 아키텍처에 일반화된다.