[논문 리뷰] No More Pesky Learning Rate Guessing Games.

Leslie N. Smith|arXiv (Cornell University)|2015. 06. 03.

Advanced Neural Network Applications참고 문헌 26인용 수 131

한 줄 요약

이 논문은 학습 중 상한과 하한 값 사이를 주기적으로 변화시켜 학습률을 자동으로 설정하는 순환 학습률(CLR)을 소개한다. 수동으로 하이퍼파rameter를 튜닝할 필요 없이, CLR은 더 빠르게 최적에 가까운 정확도를 달성하며, CIFAR-10, ImageNet, AlexNet, GoogLeNet에서 괜찮은 성능을 보이며 학습률 탐색을 광범위하게 하지 않아도 된다.

ABSTRACT

It is known that the learning rate is the most important hyper-parameter to tune for training deep convolutional neural networks (i.e., a guessing game). This report describes a new method for setting the learning rate, named cyclical learning rates, that eliminates the need to experimentally find the best values and schedule for the learning rates. Instead of setting the learning rate to fixed values, this method lets the learning rate cyclically vary within boundary values. This report shows that training with cyclical learning rates achieves near optimal classification accuracy without tuning and often in many fewer iterations. This report also describes a simple way to estimate reasonable bounds - by linearly increasing the learning rate in one training run of the network for only a few epochs. In addition, cyclical learning rates are demonstrated on training with the CIFAR-10 dataset and the AlexNet and GoogLeNet architectures on the ImageNet dataset. These methods are practical tools for everyone who trains convolutional neural networks.

연구 동기 및 목표

• 딥 컨volution 네트워크 학습에서 수동으로 시간이 오래 걸리는 학습률 하이퍼파rameter 튜닝 문제를 해결하기 위해.
• 광범위한 실험 없이도 실용적이고 자동화된 학습률 설정 방법을 개발하기 위해.
• 고정된 학습률 튜닝 없이도 순환적 학습률 변화가 최적 또는 최적에 가까운 성능을 달성할 수 있음을 입증하기 위해.
• 순환 스케줄링을 위한 합리적인 학습률 범위를 추정할 수 있는 단순하고 효율적인 방법을 제공하기 위해.

제안 방법

• 학습 중에 학습률을 최소값과 최대값 사이를 주기적으로 변화시켜 고정하거나 감소시키는 방식이 아니라, 동적으로 조절한다.
• 학습 반복 동안 학습률을 삼각형 패턴으로 변화시켜 순환 스케줄을 구현한다.
• 상한값을 추정하기 위해 몇 에포크 동안 점진적으로 증가시키는 선형 웜업 단계를 사용한다.
• 하한값은 작은 값으로 설정하고, 상한값은 선형 웜업 실행 결과로부터 결정한다.
• 이 방법은 ImageNet과 CIFAR-10에서 AlexNet과 GoogLeNet과 같은 표준 CNN 아키텍처에 적용된다.
• 순환 학습률을 사용한 학습은 학습률 감소 스케줄이나 그리드 서치가 필요 없음을 보여준다.

실험 결과

연구 질문

• RQ1 순환 학습률이 수동으로 튜닝된 고정 학습률과 비교해 유사하거나 더 높은 분류 정확도를 달성할 수 있는가?
• RQ2 간단한 선형 웜업 절차가 순환 스케줄링을 위한 효과적인 학습률 범위를 신뢰성 있게 추정할 수 있는가?
• RQ3 순환 학습률 스케줄링이 최적 성능에 도달하기 위해 필요한 학습 반복 수를 줄일 수 있는가?
• RQ4 순환 학습률이 CIFAR-10과 ImageNet과 같은 다양한 아키텍처와 데이터셋에 효과적으로 적용될 수 있는가?

주요 결과

• 순환 학습률은 학습률을 수동으로 튜닝하지 않아도 최적에 가까운 분류 정확도를 달성한다.
• 이 방법은 고정 학습률 스케줄링보다 더 적은 반복 수로 양호한 성능을 달성함으로써 학습 시간을 단축시킨다.
• 단지 몇 에포크 분량의 선형 웜업 실행만으로도 학습률 범위의 상한값에 대한 신뢰할 수 있는 추정치를 제공할 수 있다.
• 이 방법은 AlexNet과 GoogLeNet과 같은 다양한 아키텍처에서 CIFAR-10과 ImageNet 데이터셋 모두에서 효과적으로 작동한다.