[논문 리뷰] Measuring the Effects of Data Parallelism on Neural Network Training

Christopher J. Shallue, Jaehoon Lee외 4명|arXiv (Cornell University)|2018. 11. 08.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 163

한 줄 요약

본 논문은 배치 크기(데이터 병렬성)가 다양한 작업 부하에 걸쳐 목표로 하는 out-of-sample error를 달성하는 데 필요한 학습 스텝 수에 미치는 영향을 실험적으로 특성화합니다. 큰 변동성을 발견하고 더 큰 배치에서도 out-of-sample 성능이 일관되게 저하되지 않는다는 점을 발견하며, 영역 의존적 이점과 메타파라미터 튜닝의 역할을 강조합니다.

ABSTRACT

Recent hardware developments have dramatically increased the scale of data parallelism available for neural network training. Among the simplest ways to harness next-generation hardware is to increase the batch size in standard mini-batch neural network training algorithms. In this work, we aim to experimentally characterize the effects of increasing the batch size on training time, as measured by the number of steps necessary to reach a goal out-of-sample error. We study how this relationship varies with the training algorithm, model, and data set, and find extremely large variation between workloads. Along the way, we show that disagreements in the literature on how batch size affects model quality can largely be explained by differences in metaparameter tuning and compute budgets at different batch sizes. We find no evidence that larger batch sizes degrade out-of-sample performance. Finally, we discuss the implications of our results on efforts to train neural networks much faster in the future. Our experimental data is publicly available as a database of 71,638,836 loss measurements taken over the course of training for 168,160 individual models across 35 workloads.

연구 동기 및 목표

• 배치 크기가 목표된 out-of-sample error를 달성하는 데 필요한 학습 스텝 수와의 관계를 정량화한다.
• 모델, 데이터 세트 및 학습 알고리즘에 걸친 배치 크기–학습 스텝 관계를 좌우하는 요인을 규명한다.
• 현실적인 작업 부하에서 더 큰 배치 크기가 out-of-sample 성능에 비용을 초래하는지 평가한다.
• 배치 크기에 따라 메타파라미터(학습률, 모멘텀, 스케줄)가 어떻게 조정되어야 하는지 조사하고, 이전 문헌의 불일치를 설명한다.

제안 방법

• 동기식 데이터-병렬 미니배치 SGD 변형(SGD, momentum이 있는 SGD, 및 Nesterov 모멘텀)을 연구한다.
• 배치 크기 효과를 특성화하기 위해 여섯 가지 모델 계열, 세 가지 학습 알고리즘, 그리고 일곱 개의 데이터 세트에 걸쳐 실험한다.
• 고정 휴리스틱을 가정하기보다는 각 배치 크기에 대해 학습률, 모멘텀, 학습률 스케줄을 독립적으로 튜닝한다.
• 학습 스텝 수 측면에서 학습 비용을 분석하고 71,638,836개의 로스 측정을 168,160개의 모델에 대해 수집한 공개 데이터 자원을 보고한다.
• 재현 가능한 실험 프로토콜을 제공하고 도표와 결과의 재현을 촉진하기 위해 데이터셋을 공개한다.

실험 결과

연구 질문

• RQ1 주어진 out-of-sample error를 달성하기 위한 배치 크기와 학습 스텝 수 사이의 관계는 무엇인가?
• RQ2 이 배치 크기–학습 스텝 관계를 좌우하는 요인은 작업 부하(모델, 데이터 세트, 알고리즘) 간에 무엇인가?
• RQ3 현실적인 작업 부하에서 큰 배치 크기가 out-of-sample 에러에 비용을 초래하는가?
• RQ4 배치 크기가 달라질 때 메타파라미터를 어떻게 조정해야 하는가, 그리고 간단한 스케일링 규칙이 문제 전반에 걸쳐 성립하는가؟

주요 결과

• 배치 크기–학습 스텝 관계는 작업 부하 전반에 걸쳐 공통적인 형태를 따른다: 초기에는 배치 크기가 커질수록 학습 스텝 수가 비례적으로 감소하고, 그다음 수익 감소가 나타나며, 결국 최대 유용한 배치 크기를 넘어서면 개선이 없다.
• 최대 유용 배치 크기는 작업 부하에 따라 크게 달라지며 모델 및 학습 알고리즘 특성에 의존한다; momentum이 있는 SGD(SGD with momentum) 및 Nesterov 모멘텀은 일반 SGD보다 더 큰 배치를 활용할 수 있으며, 일부 모델은 다른 모델보다 훨씬 더 큰 배치를 견딘다.
• 최적의 학습 메타파라미터는 배치 크기와 간단하고 보편적인 관계를 따르지 않는다; 선형 학습률 스케일링 및 기타 휴리스틱은 문제와 배치 크기에 따라 균일하게 성립하지 않는다.
• 이전 문헌의 차이는 다양한 계산 예산과 메타파라미터 튜닝 절차로 설명될 수 있다; 배치 크기를 늘린다고 해서 out-of-sample 성능이 반드시 저하된다는 증거는 없으며, 다만 더 큰 배치 크기는 추가 정규화가 필요할 수 있다.