[논문 리뷰] Meta-LR-Schedule-Net: Learned LR Schedules that Scale and Generalize.

Jun Shu, Yanwen Zhu외 3명|arXiv (Cornell University)|2020. 07. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 4

한 줄 요약

이 논문은 훈련 동역학에서 최적의 학습률(LR) 스케줄을 적응적으로 학습하는 메타러닝 기반의 Meta-LR-Schedule-Net을 제안한다. 이는 미분 가능하고 명시적인 매핑 공식을 사용하여, 다양한 설정—다양한 배치 크기, 아키텍처, ImageNet과 같은 데이터셋—을 통해 일반화되며, 특히 데이터 손상 상황에서 수동으로 설계된 스케줄보다 우수한 성능을 보인다. 이는 과거의 훈련 이력을 활용하여 일반화 능력을 향상시킨다.

ABSTRACT

The learning rate (LR) is one of the most important hyper-parameters in stochastic gradient descent (SGD) for deep neural networks (DNNs) training and generalization. However, current hand-designed LR schedules need to manually pre-specify schedule as well as its extra hyper-parameters, which limits its ability to adapt non-convex optimization problems due to the significant variation of training dynamic. To address this issue, we propose a model capable of adaptively learning LR schedule from data. We specifically design a meta-learner with explicit mapping formulation to parameterize LR schedules, which can adjust LR adaptively to comply with current training dynamic by leveraging the information from past training histories. Image and text classification benchmark experiments substantiate the capability of our method for achieving proper LR schedules compared with baseline methods. Moreover, we transfer the learned LR schedule to other various tasks, like different training batch sizes, epochs, datasets, network architectures, especially large scale ImageNet dataset, showing its stronger generalization capability than related methods. Finally, guided by a small set of clean validation set, we show our method can achieve better generalization error when training data is biased with corrupted noise than baseline methods.

연구 동기 및 목표

• 비볼록 최적화에서 동적 훈련 과정에 적응하지 못하는 수동으로 설계된 학습률(LR) 스케줄의 한계를 해결하기 위해.
• 수동 하이퍼파rameter 조정에 의존도를 줄이고, 자동으로 최적의 LR 스케줄을 학습하는 데이터 기반 방법을 개발하기 위해.
• 작은 청소화된 검증 세트를 사용하여 노이즈가 있는 데이터에서 강건한 LR 스케줄을 학습함으로써 모델의 일반화 능력을 향상시키기 위해.
• 배치 크기, 에포크 수, 데이터셋, 네트워크 아키텍처 등 다양한 훈련 설정 간에 학습된 LR 스케줄의 이식 가능성을 보장하기 위해.
• 특히 대규모 ImageNet에서의 성능을 기준으로 기존 방법보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 과거 훈련 이력에 의존하는 명시적 매핑 공식을 통해 LR 스케줄을 매개변수화하는 메타러너를 설계하였다.
• 모델은 각 훈련 단계에서 이력 기반의 기울기와 손실 값에서 적응형 LR 값을 매핑하는 미분 가능한 함수를 학습한다.
• 외부 루프에서 검증 성능에 기반해 LR 스케줄 정책을 최적화하는 이중 최적화 프레임워크를 사용해 엔드 투 엔드로 학습한다.
• 훈련 데이터가 노이즈가 있을 경우에도, 작은 청소화된 검증 세트를 활용해 일반화 가능한 LR 스케줄을 학습할 수 있도록 한다.
• 다양한 배치 크기, 네트워크 깊이, ImageNet과 같은 데이터셋을 포함한 다양한 훈련 설정에서 일반화하도록 모델을 훈련한다.
• 재학습 없이도 학습된 LR 스케줄을 새로운 작업에 제로샷 전이할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습 동역학의 변화에 효과적으로 적응할 수 있는 학습된 LR 스케줄이 딥 네트워크 최적화 과정에서 성능을 발휘할 수 있는가?
• RQ2 메타학습된 LR 스케줄은 다양한 배치 크기, 네트워크 아키텍처, 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ3 훈련 데이터에 손상되거나 편향된 샘플이 포함되어 있을 경우, 제안된 방법이 일반화 능력을 향상시키는가?
• RQ4 시험 정확도와 강건성 측면에서 학습된 LR 스케줄이 수동으로 설계된 스케줄보다 뛰어난 성능을 보일 수 있는가?
• RQ5 작은 청소화된 검증 세트가 효과적이고 이식 가능한 LR 스케줄을 학습하는 데 얼마나 잘 이끌 수 있는가?

주요 결과

• Meta-LR-Schedule-Net은 훈련 데이터에 노이즈가 첨가된 상황에서도 ImageNet에서 기존 기준 방법보다 더 낮은 일반화 오차를 기록한다.
• 학습된 LR 스케줄은 다양한 훈련 설정—다른 배치 크기, 에포크 수, 네트워크 아키텍처—에서 효과적으로 일반화된다.
• 이 방법은 이미지 및 텍스트 분류 벤치마크에서 표준 수동 스케줄보다 뛰어난 적응성을 보이며 성능이 뛰어나다.
• 작은 청소화된 검증 세트에서 학습함으로써 ImageNet에서 시험 정확도가 향상되어 데이터 편향에 대한 강건성이 뛰어나다는 것을 시사한다.
• 메타러너는 복잡한 훈련 동역학을 성공적으로 포착하고 이를 바탕으로 LR을 적절히 조정함으로써 빠른 수렴과 더 나은 최종 성능을 달성한다.
• 이 방법은 새로운 작업에 대해 재학습 없이도 학습된 LR 스케줄을 제로샷 전이할 수 있도록 하여 하이퍼파rameter 조정의 필요성을 줄인다.