[논문 리뷰] Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates

Leslie N. Smith, Nicholay Topin|arXiv (Cornell University)|2017. 08. 23.

Stochastic Gradient Optimization Techniques인용 수 106

한 줄 요약

논문은 super-convergence를 도입하여, 사이클 학습률(CLR) 스케줄을 사용한 매우 큰 학습률로도 신경망을 훨씬 더 빠르게 훈련시키면서 다른 규제는 줄이는 방법을 제시한다. 여러 데이터셋과 아키텍처에 걸친 경험적 증거를 제공하고, 최적 학습률을 추정하는 Hessian-free에서 영감을 받은 방법을 제시한다.

ABSTRACT

In this paper, we describe a phenomenon, which we named "super-convergence", where neural networks can be trained an order of magnitude faster than with standard training methods. The existence of super-convergence is relevant to understanding why deep networks generalize well. One of the key elements of super-convergence is training with one learning rate cycle and a large maximum learning rate. A primary insight that allows super-convergence training is that large learning rates regularize the training, hence requiring a reduction of all other forms of regularization in order to preserve an optimal regularization balance. We also derive a simplification of the Hessian Free optimization method to compute an estimate of the optimal learning rate. Experiments demonstrate super-convergence for Cifar-10/100, MNIST and Imagenet datasets, and resnet, wide-resnet, densenet, and inception architectures. In addition, we show that super-convergence provides a greater boost in performance relative to standard training when the amount of labeled training data is limited. The architectures and code to replicate the figures in this paper are available at github.com/lnsmith54/super-convergence. See http://www.fast.ai/2018/04/30/dawnbench-fastai/ for an application of super-convergence to win the DAWNBench challenge (see https://dawn.cs.stanford.edu/benchmark/).

연구 동기 및 목표

• standard schedules에 비해 큰 학습률이 신경망 훈련을 크게 가속할 수 있음을 실증적으로 보여준다.
• 큰 학습률이 규제 역할을 하며, 균형을 유지하기 위해 다른 형태의 규제를 줄여야 함을 보인다.
• 간소화된 Hessian-free 접근법을 통해 최적 학습률을 추정하고 활용하는 실용적인 방법을 제공한다.
• 다양한 데이터셋(Cifar-10/100, MNIST, ImageNet)과 아키텍처(ResNet, Wide-ResNet, DenseNet, Inception)에서 초수렴을 검증한다.

제안 방법

• 학습률이 낮은 값에서 최대값까지 오르도록 한 사이클 정책(1cycle)을 사용하는 CLR를 적용하고, 남은 반복 동안은 감소시킨다.
• CLR에 적합한 최고 학습률을 식별하기 위해 LR 범위 테스트를 적용한다.
• 적응형 per-weight 학습률 프록시를 추정하고, 대략 Hessian-free 최적화를 단순화하여 큰 학습률이 넓고 평평한 미니마와 상관관계가 있음을 보여준다.
• 큰 학습률을 사용할 때 다른 형태의 규제(예: 가중치 감소)를 줄여 규제 효과의 균형을 맞춘다.
• 다양한 데이터셋/아키텍처에서 초수렴과 표준 구간(조각형) 학습률 스케줄의 성능 차이를 비교한다.
• 다양한 데이터 가용성 및 배치 크기에서의 성능 차이를 보고한다.

실험 결과

연구 질문

• RQ1 사이클링 스케줄과 매우 큰 학습률이 최종 정확도를 희생하지 않으면서도 훈련 속도를 높일 수 있는가?
• RQ2 큰 학습률을 사용할 때 다른 규제 기법은 어떻게 조정되어야 최적의 규제 균형을 유지하는가?
• RQ3 큰 학습률이 넓고 평평한 미니마로 이어지는가, 그리고 실제로 적합한 학습률을 어떻게 추정할 수 있는가?
• RQ4 다양한 데이터셋(CIFAR, MNIST, ImageNet)과 아키텍처(ResNet, DenseNet, Inception, Wide-ResNet)에서 초수렴이 관찰되는가?
• RQ5 제한된 라벨링 데이터에서 초수렴의 이점은 어떻게 달라지는가?

주요 결과

• 초수렴은 표준 훈련에 비해 훨씬 적은 반복에서 더 높은 최종 테스트 정확도에 도달할 수 있다(예: CIFAR-10, ResNet-56: 92.4%를 10,000 반복에서; 80,000 반복에서 91.2%).
• 한 주기 학습률(최대 lr이 3 이상까지)로 훈련하면 총 반복 수가 달라져도 기존 스케줄보다 더 나은 최종 정확도를 제공한다(예: CIFAR-10/ResNet-56: 6,000 반복에서 92.1%).
• 큰 학습률은 훈련을 규제하고, 균형을 맞추기 위해 다른 규제(예: 가중치 감소)를 줄여야 한다.
• 간소화된 Hessian-free 접근법은 특정 아키텍처에서 학습 중 추정된 학습률이 2–6의 값들과 일치함을 시사하며, 큰 학습률로 훈련하면 넓고 평평한 미니마를 찾게 됨을 시사한다.
• 라벨 데이터가 제한될 때 초수렴의 이점이 더 두드러지며, 훈련 시간을 줄이면서 정확도를 개선하거나 유지한다.
• ImageNet에서 가중치 감소를 줄이면 큰 학습률과 1cycle 정책의 사용이 가능해져 상위 정확도가 향상된다(예: ResNet-50: WD 3e-6에서 1e-5로 67.6%; Inception-ResNet-v2: WD 3e-6에서 74.0%).