[논문 리뷰] Optimal Mini-Batch Size Selection for Fast Gradient Descent

Michael Perrone, Haidar Khan외 4명|arXiv (Cornell University)|2019. 11. 15.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 확률적 경사 하강법(SGD)에서 최적의 미니배치 크기 선택을 위한 폐쇄형 모델을 제안한다. 이 모델은 수렴에 필요한 업데이트 수와 미니배치 크기 사이의 강력한 경험적 역관계를 규명함으로써, 하드웨어에 종속되지 않는 알고리즘 행동을 분리하여, 노이즈 민감도 매개변수 α와 수렴 하한 N∞를 통해 훈련 시간을 체계적으로 최적화할 수 있게 한다. 이는 이미지 인식 및 기계 번역 작업 전반에서 검증되었다.

ABSTRACT

This paper presents a methodology for selecting the mini-batch size that minimizes Stochastic Gradient Descent (SGD) learning time for single and multiple learner problems. By decoupling algorithmic analysis issues from hardware and software implementation details, we reveal a robust empirical inverse law between mini-batch size and the average number of SGD updates required to converge to a specified error threshold. Combining this empirical inverse law with measured system performance, we create an accurate, closed-form model of average training time and show how this model can be used to identify quantifiable implications for both algorithmic and hardware aspects of machine learning. We demonstrate the inverse law empirically, on both image recognition (MNIST, CIFAR10 and CIFAR100) and machine translation (Europarl) tasks, and provide a theoretic justification via proving a novel bound on mini-batch SGD training.

연구 동기 및 목표

• 하드웨어나 소프트웨어 구현에 관계없이 SGD에서 훈련 시간을 최소화하는 체계적인 미니배치 크기 선택 방법론을 개발하기 위해.
• 알고리즘 수렴 행동을 시스템 수준의 성능 요소에서 분리하여 학습 동역학을 더 명확히 분석할 수 있도록 하기 위해.
• 다양한 머신러닝 작업 전반에서 미니배치 크기가 수렴 반복 수와 훈련 시간에 미치는 영향을 식별하고 정량화하기 위해.
• 약한 스케일링(각 워커당 고정된 미니배치 크기)이 항상 훈련 시간을 최소화한다고 보는 가정을 도전하여, 이는 최적일 수 없음을 보여주기 위해.
• 최적의 미니배치 크기 선택에 영향을 주는 핵심 알고리즘적 성질로 '노이즈 민감도'(α)의 개념을 도입하기 위해.

제안 방법

• 경험적 역관계 제안: $ N_{\text{Update}} = N_\infty + \frac{\alpha}{M} $, 여기서 $ N_{\text{Update}} $는 수렴에 필요한 SGD 업데이트 수, $ M $은 미니배치 크기, $ \alpha $는 노이즈 민감도이다.
• 총 훈련 시간을 $ T_C = N_{\text{Update}} \cdot T_{\text{Update}} $로 분해하여 알고리즘 복잡도와 업데이트당 계산 시간을 분리한다.
• 측정된 시스템 성능을 활용해 $ T_{\text{Update}} $를 미니배치 크기 $ M $과 동시 실행 학습자 수 $ P $의 함수로 모델링함으로써, 폐쇄형 훈련 시간 예측이 가능해진다.
• 중앙극한정리에 기반하여, SGD 수렴에 대한 이론적 하한을 유도함으로써 경험적 법칙을 지지하는 역 $ M $-의존성에 기반한다.
• MNIST, CIFAR10, CIFAR100(이미지 인식) 및 Europarl(기계 번역)을 포함한 여러 벤치마크에서 모델을 검증한다.
• $ N_\infty $를 도입하여 이는 전체 배치 기울기 조건에서도 필요한 최소 단계 수를 나타내는 이론적 하한으로서의 역할을 한다.

실험 결과

연구 질문

• RQ1 미니배치 크기와 SGD 수렴에 필요한 업데이트 수 사이의 근본적인 관계는 무엇인가?
• RQ2 알고리즘 수렴 행동을 하드웨어 및 소프트웨어 구현으로부터 분리하여 체계적인 최적화를 가능하게 할 수 있는가?
• RQ3 약한 스케일링(각 워커당 고정된 미니배치 크기)이 항상 훈련 시간을 최소화하는가, 아니면 최적일 수 없는가?
• RQ4 '노이즈 민감도'(α)는 최적의 미니배치 크기와 훈련 효율성에 어떤 역할을 하는가?
• RQ5 배치 크기와 수렴 반복 수 사이의 역관계는 이론적으로 정당화되고, SGD를 초월해 일반화될 수 있는가?

주요 결과

• 경험적 역관계 $ N_{\text{Update}} = N_\infty + \frac{\alpha}{M} $는 이미지 인식(MNIST, CIFAR10, CIFAR100) 및 기계 번역(Europarl) 작업 전반에서 강인하게 유지된다.
• 노이즈 민감도 매개변수 $ \alpha $는 모델 및 데이터 복잡도가 증가할수록 증가하며, 이는 더 복잡한 문제에서는 수렴 하한 $ N_\infty $가 더 높은 배치 크기로 이동하게 함을 의미한다.
• SGD 수렴에 대한 이론적 하한은 경험적 모델과 동일한 역 $ M $-의존성을 보이며, 이는 관계의 타당성을 뒷받침한다.
• 모델은 약한 스케일링이 수렴 시간이 미니배치 크기에 의존한다는 점을 忽시하기 때문에 최적일 수 없음을 보여주며, 이는 더 긴 훈련 시간을 초래한다.
• 매개변수 $ N_\infty $는 병렬화의 이점을 제한하는 근본적인 최소 업데이트 수를 나타내며, 하드웨어 스케일에 관계없이 영향을 미친다.
• 이 프레임워크는 훈련 시간의 폐쇄형 예측이 가능하며, 알고리즘 설계와 하드웨어 시스템 아키텍처 최적화를 위한 체계적인 기반을 제공한다.