[논문 리뷰] A disciplined approach to neural network hyper-parameters: Part 1 -- learning rate, batch size, momentum, and weight decay

Leslie N. Smith|arXiv (Cornell University)|2018. 03. 26.

Advanced Neural Network Applications참고 문헌 18인용 수 822

한 줄 요약

본 논문은 검증/테스트 손실을 분석하고, 주기적 학습률/주기적 모멘텀을 이용하며, 정규화의 균형을 맞춰 학습 속도를 높이고 성능을 향상시키기 위해 학습률, 배치 크기, 모멘텀, 가중치 감소를 설정하는 실용적이고 효율적인 방법을 제시한다.

ABSTRACT

Although deep learning has produced dazzling successes for applications of image, speech, and video processing in the past few years, most trainings are with suboptimal hyper-parameters, requiring unnecessarily long training times. Setting the hyper-parameters remains a black art that requires years of experience to acquire. This report proposes several efficient ways to set the hyper-parameters that significantly reduce training time and improves performance. Specifically, this report shows how to examine the training validation/test loss function for subtle clues of underfitting and overfitting and suggests guidelines for moving toward the optimal balance point. Then it discusses how to increase/decrease the learning rate/momentum to speed up training. Our experiments show that it is crucial to balance every manner of regularization for each dataset and architecture. Weight decay is used as a sample regularizer to show how its optimal value is tightly coupled with the learning rates and momentums. Files to help replicate the results reported here are available.

연구 동기 및 목표

• 규율 있게 하이퍼파라미터를 조정하여 학습 시간 단축과 성능 향상을 달성한다.
• 훈련 중 조기에 학습부족/과적합을 진단하기 위해 훈련 검증/테스트 손실을 활용한다.
• 학습률, 모멘텀, 배치 크기 및 가중치 감소의 상호 의존성과 이를 균형 있게 조절하는 방법을 보인다.
• 주기적 학습률(CLR)과 주기적 모멘텀(CM), 그리고 수렴 가속을 위한 1cycle 정책을 도입한다.
• 실무자를 위한 실용적 지침과 재현을 위한 자료를 제공한다.

제안 방법

• 초기에 학습 중 손실과 검증/테스트 손실을 분석하여 하이퍼파라미터 조정을 안내한다.
• 적절한 학습률 경계를 식별하기 위해 주기적 학습률(CLR) 범위 테스트를 사용한다.
• 큰 학습률로 빠른 수렴을 가능하게 하는 1cycle 학습률 정책을 사용한다.
• 주기적 모멘텀(CM)와 CLR 간의 상호 작용을 조사하여 학습을 안정화시킨다.
• 데이터셋과 아키텍처 전반에 걸쳐 가중치 감소를 LR 및 CM과의 균형과 함께 평가한다.
• 실무자를 위한 재현 파일 및 실용적인 지침을 제공한다.

실험 결과

연구 질문

• RQ1 실무자가 격자 탐색을 전부 수행하지 않고도 최적의 학습률, 배치 크기, 모멘텀 및 가중치 감소를 어떻게 efficiently 결정할 수 있는가?
• RQ2 훈련 중 검증/테스트 손실에서 과적합/과소적합을 나타내는 조기 지표는 무엇인가?
• RQ3 주기적 학습률과 주기적 모멘텀은 수렴 속도와 안정성에 어떤 상호 작용을 하는가?
• RQ4 가중치 감소가 아키텍처 및 데이터셋 전반에서 다른 하이퍼파라미터와의 정규화 균형에서 어떤 역할을 하는가?

주요 결과

• 검증/테스트 손실은 학습 손실이나 정확도에서 항상 보이지 않는 수렴 및 일반화에 대한 정보를 제공한다.
• LR 범위 테스트는 CLR에 대한 최대 사용 가능한 학습률과 최적의 학습률 경계를 식별하는 데 도움이 된다.
• 다른 정규화를 축소하여 정규화를 균형 있게 맞추면 큰 학습률이 더 빠른 학습(초수렴)을 가능하게 한다.
• 배치 크기는 LR 및 하드웨어 제약과 상호 작용한다; 실행 시간이 거의 일정한 경우 더 큰 배치 크기가 최종 정확도를 향상시킬 수 있지만 어느 시점 이후 수익은 감소한다.
• 주기적 모멘텀과 CLR의 조합은 상수 모멘텀보다 더 나은 강건성 및 최종 성능을 제공하는 경향이 있으며, 특히 ResNet-56과 같은 더 깊은 네트워크에서 그렇다.
• 가중치 감소는 학습률 및 모멘텀과 균형 있게 조정되어야 하며, 최적 값은 데이터셋과 아키텍처에 의존하고 CLR/CM과의 결합 탐색으로 이점을 얻는다.