[논문 리뷰] An Empirical Model of Large-Batch Training

Sam McCandlish, Jared Kaplan외 2명|arXiv (Cornell University)|2018. 12. 14.

Optimization and Search Problems참고 문헌 36인용 수 139

한 줄 요약

요약: 이 논문은 그라디언트 노이즈 스케일을 간단한 통계로 제시하여 감독 학습, 강화 학습(RL), 그리고 생성 모델링 작업 전반에서 가장 유용한 배치 크기를 예측하고, 계산 효율성과 시간 효율성 간의 trade-off를 분석합니다. 학습이 진행되고 작업 난이도가 증가함에 따라 노이즈 스케일이 커지는 것을 여러 도메인에서 확인합니다.

ABSTRACT

In an increasing number of domains it has been demonstrated that deep learning models can be trained using relatively large batch sizes without sacrificing data efficiency. However the limits of this massive data parallelism seem to differ from domain to domain, ranging from batches of tens of thousands in ImageNet to batches of millions in RL agents that play the game Dota 2. To our knowledge there is limited conceptual understanding of why these limits to batch size differ or how we might choose the correct batch size in a new domain. In this paper, we demonstrate that a simple and easy-to-measure statistic called the gradient noise scale predicts the largest useful batch size across many domains and applications, including a number of supervised learning datasets (MNIST, SVHN, CIFAR-10, ImageNet, Billion Word), reinforcement learning domains (Atari and Dota), and even generative model training (autoencoders on SVHN). We find that the noise scale increases as the loss decreases over a training run and depends on the model size primarily through improved model performance. Our empirically-motivated theory also describes the tradeoff between compute-efficiency and time-efficiency, and provides a rough model of the benefits of adaptive batch-size training.

연구 동기 및 목표

• 도메인과 데이터셋마다 배치 크기 한계가 왜 다른지 동기를 부여하고 이해한다.
• 최적 배치 크기의 실용적 예측자로서 그라디언트 노이즈 스케일을 도입한다.
• 배치 크기, 그라디언트 노이즈, 학습 효율성 사이의 연결을 설명하는 간단한 이론을 개발한다.
• ImageNet, CIFAR-10, SVHN, MNIST, BillionWord, Atari, Dota를 포함한 다양한 과제에서 예측을 경험적으로 검증한다.

제안 방법

• 그라디언트 노이즈 스케일을 B_noise = tr(H Σ) / (G^T H G)로 정의하고 도출한다.
• 최적 스텝 크기를 배치 크기와 관련지으며 ε_opt(B) = ε_max / (1 + B_noise/B)로 나타낸다.
• 실용적 측정을 위한 간소화된 노이즈 스케일 B_simple = tr(Σ) / |G|^2로 정의한다.
• B_crit ~ B_noise 주변의 쌍곡선(hyperbola)을 통해 학습 시간과 계산량 간의 파레토 유사한 trade-off를 예측한다.
• 과제 전반에서 B_simple, B_noise, B_crit를 측정하고 학습 중에 어떻게 진화하는지 추적한다.
• 모형의 예측과의 정렬성을 평가하기 위해 실증 파레토 최전선을 적합한다.

실험 결과

연구 질문

• RQ1 그라디언트 노이즈 스케일이 무엇이며 작업 간 최적 배치 크기와 어떻게 관련되는가?
• RQ2 B_simple/B_noise가 컴퓨트 효율성 향상이 저하되는 임계 배치 크기를 예측할 수 있는가?
• RQ3 학습 중 및 작업 유형(감독 학습, RL, 생성) 전반에서 노이즈 스케일은 어떻게 진화하는가?
• RQ4 학습률과 조건화가 관찰된 배치 크기 트레이드오프에 미치는 영향은 무엇인가?
• RQ5 이론에서 예측한 대로 동적 배치 크기 조정이 효율성을 높이나?

주요 결과

• 그라디언트 노이즈 스케일은 대략적으로 모든 작업에서 사용 가능한 최대 배치 크기를 차수 수준으로 예측한다.
• 학습 효율성은 파레토 프런티어를 따르며, 노이즈 스케일을 넘는 큰 배치에서 이득이 감소한다.
• 모델이 더 낮은 손실을 달성하면서 노이즈 스케일이 학습 중 증가한다.
• B_simple은 많은 작업에서 B_crit의 실용적 추정치를 제공하며, 일부 경우에는 B_noise가 더 근접한 예측을 제공한다.
• 노이즈 스케일은 더 복잡한 작업(예: RL/Dota)에서 더 크고 학습이 진행됨에 따라 커진다.
• 노이즈 스케일에 따라 가이드되는 동적 배치 크기 튜닝이 효율성을 향상시킬 것으로 예측된다.