[논문 리뷰] Which Algorithmic Choices Matter at Which Batch Sizes? Insights From a Noisy Quadratic Model

Guodong Zhang, Lala Li외 6명|arXiv (Cornell University)|2019. 07. 09.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 15

한 줄 요약

이 논문은 신경망 학습에서 알고리즘적 선택(예: 전처리, 모멘타임, 지수이동평균)이 임계 배치 크기에 미치는 영향을 연구하기 위해 노이즈가 있는 이차 모델(NQM)을 도입한다. NQM은 전처리 최적화기인 Adam과 K-FAC가 SGD에 비해 훨씬 더 큰 배치 크기에서 완벽한 배치 크기 스케일링을 유지함을 정확하게 예측하며, 동시에 작은 배치 크기에서도 성능을 향상시킨다.

ABSTRACT

Increasing the batch size is a popular way to speed up neural network training, but beyond some critical batch size, larger batch sizes yield diminishing returns. In this work, we study how the critical batch size changes based on properties of the optimization algorithm, including acceleration and preconditioning, through two different lenses: large scale experiments, and analysis of a simple noisy quadratic model (NQM). We experimentally demonstrate that optimization algorithms that employ preconditioning, specifically Adam and K-FAC, result in much larger critical batch sizes than stochastic gradient descent with momentum. We also demonstrate that the NQM captures many of the essential features of real neural network training, despite being drastically simpler to work with. The NQM predicts our results with preconditioned optimizers, previous results with accelerated gradient descent, and other results around optimal learning rates and large batch training, making it a useful tool to generate testable predictions about neural network optimization.

연구 동기 및 목표

• 다양한 최적화 알고리즘이 신경망 학습에서 임계 배치 크기에 미치는 영향을 이해하는 것.
• 전처리, 모멘타임, 지수이동평균이 표준 SGD에서 달성 가능한 것보다 더 큰 배치 크기 학습의 이점을 연장할 수 있는지 조사하는 것.
• 실제 신경망 최적화 동역학에 대해 단순한 노이즈가 있는 이차 모델(NQM)의 예측 능력을 검증하는 것.
• 비용이 많이 드는 실험적 배치 크기 연구의 대안으로서 확장 가능하고 분석적으로 다룰 수 있는 대체 방법을 제공하는 것.
• 대규모 배치 크기 학습에서 최적의 학습률 스케줄링 및 알고리즘 하이퍼파rameter에 대한 검증 가능한 예측을 도출하는 것.

제안 방법

• 신경망 최적화의 핵심 요소인 기울기 노이즈와 곡률을 반영하는 노이즈가 있는 이차 모델(NQM)을 개발한다.
• NQM을 사용하여 최적의 학습률, 임계 배치 크기, 알고리즘 구성 요소의 영향에 대한 분석적 예측을 유도한다.
• 여러 모델(CNNs, ResNets, VGG, Transformers)과 데이터셋(MNIST, CIFAR10, ImageNet, LM1B)을 대상으로 대규모 실험을 수행하여 NQM의 예측을 검증한다.
• Adam, K-FAC와 같은 전처리 최적화기를 적용하고, 다양한 배치 크기에서 SGD와의 성능를 비교한다.
• 일정한 학습률 스케줄링과 선형 감쇠 스케줄링을 구현하고, 배치 크기 및 최적화기 선택과의 상호작용을 분석한다.
• 모든 배치 크기에서의 학습 안정성을 확보하기 위해 고양이 배치 정규화, 레이블 스무딩, 채널 기반 가중치 정규화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 SGD에 모멘타임을 적용한 것과 비교할 때, 전처리 방법(예: Adam, K-FAC)을 사용하는 최적화 알고리즘의 선택이 임계 배치 크기에 어떻게 영향을 미치는가?
• RQ2 노이즈가 있는 이차 모델(NQM)은 실제 신경망 학습에서의 배치 크기 스케일링 행동을 어느 정도 정확하게 예측할 수 있는가?
• RQ3 지수이동평균(EMA)은 주어진 배치 크기에서 필요한 학습 스텝 수를 줄이고, 더 작은 배치 크기로 동일한 성능을 달성하는 데 기여하는가?
• RQ4 학습률 스케줄링이 배치 크기와 최적화기 유형과 어떻게 상호작용하여 학습 효율성에 영향을 미치는가?
• RQ5 대규모 배치 학습의 효과적인 범위를 연장하는 데 있어 전처리와 모멘타임 중 어느 것이 더 큰 영향을 미치는가?

주요 결과

• 노이즈가 있는 이차 모델(NQM)은 실제 신경망 학습에서 관찰되는 배치 크기 스케일링 행동을 정확하게 예측하며, 모멘타임과 전처리의 영향까지 포함한다.
• Adam과 K-FAC와 같은 전처리 최적화기는 SGD에 모멘타임을 적용한 것보다 훨씬 더 큰 배치 크기에서 완벽한 배치 크기 스케일링을 유지하며, K-FAC는 가장 큰 임계 배치 크기를 달성한다.
• 모멘타임과 달리 전처리는 작은 배치 크기에서도 성능 향상을 제공하여 전체 배치 크기 스펙트럼에서 학습 효율성을 향상시킨다.
• 지수이동평균(EMA)은 주어진 배치 크기에서 필요한 학습 스텝 수를 줄여 더 작은 배치 크기로 동일한 성능를 달성할 수 있게 하며, 계산 자원을 절약한다.
• 일정한 학습률 스케줄링과 선형 감쇠 스케줄링 모두에서 최적의 학습률은 배치 크기와 선형적으로 스케일링되며, NQM의 예측과 일치한다.
• NQM은 대규모 배치의 수익 감소 현상과 임계 배치 크기의 존재와 같은 알려진 현상을 성공적으로 재현하여, 최적화에 대한 예측 도구로의 사용을 검증한다.