[논문 리뷰] Wide-minima Density Hypothesis and the Explore-Exploit Learning Rate Schedule

Nikhil Iyer, V Thejas외 3명|arXiv (Cornell University)|2020. 03. 09.

Multimodal Machine Learning Applications참고 문헌 45인용 수 14

한 줄 요약

이 논문은 딥 러닝 손실 곡면에서 넓은 최소값이 좁은 최소값보다 희귀하다는 '넓은 최소값 밀도 가설'을 제안한다. 이를 바탕으로 넓은 최소값을 찾을 확률을 높이기 위해 장기간의 높은 학습률 단계를 포함하는 새로운 탐색-이용 학습률 스케줄(Knee 스케줄)을 제안한다. 이 방법은 여러 비전 및 NLP 벤치마크에서 최신 기준 성능을 달성하거나 기존 성능을 유지하면서 학습 시간을 최대 57% 감소시킨다.

ABSTRACT

Several papers argue that wide minima generalize better than narrow minima. In this paper, through detailed experiments that not only corroborate the generalization properties of wide minima, we also provide empirical evidence for a new hypothesis that the density of wide minima is likely lower than the density of narrow minima. Further, motivated by this hypothesis, we design a novel explore-exploit learning rate schedule. On a variety of image and natural language datasets, compared to their original hand-tuned learning rate baselines, we show that our explore-exploit schedule can result in either up to 0.84% higher absolute accuracy using the original training budget or up to 57% reduced training time while achieving the original reported accuracy. For example, we achieve state-of-the-art (SOTA) accuracy for IWSLT'14 (DE-EN) dataset by just modifying the learning rate schedule of a high performing model.

연구 동기 및 목표

• 높은 초기 학습률이 딥 신경망의 일반화 성능을 향상시키는 이유를 탐구하는 것.
• 손실 곡면에서 넓은 최소값의 밀도가 좁은 최소값보다 낮은지 여부를 검토하는 것.
• 넓은 최소값을 찾기 위해 충분한 탐색이 필요하다는 점을 명시적으로 고려한 원칙적인 학습률 스케줄을 설계하는 것.
• 제안된 탐색-이용 스케줄이 수작업으로 튜닝된 기준보다 정확도와 학습 효율성 측면에서 뛰어나다는지 평가하는 것.

제안 방법

• 넓은 최소값 밀도 가설 제안: 넓은 최소값은 좁은 최소값보다 손실 곡면에서 밀도가 낮아, 충분한 탐색 없이선 찾기 어려움.
• Knee 스케줄 설계: 초기에 일정한 높은 학습률로 탐색하는 단계를 거친 후, 이용 단계 동안 선형 감소하여 0으로 감소하는 이중 단계 학습률 스케줄.
• 곡률 분석을 통한 최소값 너비 추정을 활용해, 높은 테스트 정확도와 넓은 최소값 간의 상관관계를 실증적으로 검증.
• 여러 데이터셋(CIFAR-10, ImageNet, IWSLT’14, WMT’14)과 모델(ResNet, BERT, Transformer)에서 탐색 단계의 지속 시간을 다양화하여 일반화에 미치는 영향을 분석.
• 총 학습 예산을 유지하거나 줄이는 조건에서 초모수 탐색을 통해 탐색 지속 시간을 최적화.
• 여러 옵timizer(SGD, Adam, RAdam, LAMB)를 대상으로 테스트 정확도, BLEU 점수, 학습 시간을 측정하고 보고.

실험 결과

연구 질문

• RQ1 초기 높은 학습률 단계의 지속 시간을 늘일수록 딥 네트워크의 일반화 성능 향상이 이루어지는가?
• RQ2 손실 곡면에서 넓은 최소값의 밀도가 좁은 최소값보다 유의미하게 낮은가? 이는 왜 넓은 최소값을 찾기 어려운지 설명할 수 있는가?
• RQ3 탐색과 이용을 명시적으로 분리한 원칙적인 학습률 스케줄이 수작업 튜닝된 스케줄보다 뛰어난 성능을 내는가?
• RQ4 Cosine 감소와 같은 기존 스케줄과 비교해 Knee 스케줄은 정확도와 학습 효율성 측면에서 어떻게 다른가?
• RQ5 Knee 스케줄은 초기 학습률과 탐색 지속 시간에 대해 얼마나 민감한가?

주요 결과

• IWSLT’14(DE-EN) 번역 데이터셋에서, 높은 성능을 내는 모델의 학습률 스케줄만 수정함으로써 Knee 스케줄이 최신 기준 정확도를 달성했다.
• ResNet-18을 사용한 CIFAR-10에서 탐색 단계를 5에서 40 에포크로 늘임으로써 테스트 정확도가 95.07%에서 95.34%로 상승했으며, 최적 성능는 100개의 탐색 에포크에서 달성되었다.
• WMT’14(EN-DE)에서 BERT LARGE의 사전학습 과정에서 Knee 스케줄은 기준 모델과 동일한 정확도를 달성했지만 학습 시간을 33% 단축시켰다.
• ResNet-50를 사용한 ImageNet에서 Knee 스케줄은 기존 정확도를 유지하면서 학습 시간을 44% 감소시켰다.
• WMT’14(EN-DE)에서 Knee 스케줄은 동일한 테스트 BLEU 점수를 달성하면서 학습 시간을 57% 감소시켰다.
• 최적의 탐색 지속 시간은 높은 초기 학습률일수록 감소하며, 이는 더 큰 스텝으로 좁은 최소값을 더 빨리 빠져나올 수 있다는 가설과 일치한다.