[논문 리뷰] Revisiting Small Batch Training for Deep Neural Networks

Dominic Masters, Carlo Luschi|arXiv (Cornell University)|2018. 04. 20.

Advanced Neural Network Applications참고 문헌 23인용 수 353

한 줄 요약

논문은 작은 미니배치 크기(2–32)가 일반화와 CIFAR-10/100 및 ImageNet에서 안정적 학습을 보인다고 제시하며 매우 큰 배치로의 push에 도전한다. 학습률 스케일링, 배치 정규화의 효과, 워밍업 전략을 분석한다.

ABSTRACT

Modern deep neural network training is typically based on mini-batch stochastic gradient optimization. While the use of large mini-batches increases the available computational parallelism, small batch training has been shown to provide improved generalization performance and allows a significantly smaller memory footprint, which might also be exploited to improve machine throughput. In this paper, we review common assumptions on learning rate scaling and training duration, as a basis for an experimental comparison of test performance for different mini-batch sizes. We adopt a learning rate that corresponds to a constant average weight update per gradient calculation (i.e., per unit cost of computation), and point out that this results in a variance of the weight updates that increases linearly with the mini-batch size $m$. The collected experimental results for the CIFAR-10, CIFAR-100 and ImageNet datasets show that increasing the mini-batch size progressively reduces the range of learning rates that provide stable convergence and acceptable test performance. On the other hand, small mini-batch sizes provide more up-to-date gradient calculations, which yields more stable and reliable training. The best performance has been consistently obtained for mini-batch sizes between $m = 2$ and $m = 32$, which contrasts with recent work advocating the use of mini-batch sizes in the thousands.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 미니배치 크기가 일반화 및 수렴에 미치는 영향을 평가한다.
• 그레이디언트당 비용이 일정한 형태에서 학습률 스케일링을 조사한다.
• 다른 배치 크기에서의 배치 정규화의 상호작용과 학습 안정성에 대한 영향을 평가한다.
• 대규모 배치와 소규모 배치 체제에서 점진적 워밍업의 역할을 조사한다.
• BN과 SGD 배치 크기가 다를 수 있는 분산 학습에 대한 가이드를 제공한다.

제안 방법

• 학습률 스케일링을 비교하기 위해 미니배치 그래디언트의 평균 또는 합으로 SGD 업데이트를 공식화한다.
• 여러 아키텍처에서 CIFAR-10, CIFAR-100, ImageNet에 대해 서로 다른 배치 크기와 기본 학습률로 CNN을 실험적으로 학습한다.
• Batch Normalization 유무 및 데이터 증강 여부에 따라 성능을 평가한다.
• 대규모 배치 학습의 불안정성을 완화하기 위한 점진적 워밍업 전략을 테스트한다.
• BN 업데이트용 배치 크기와 SGD 업데이트용 배치 크기를 다르게 사용하는 효과를 분석한다.

실험 결과

연구 질문

• RQ1 미니배치 크기가 그레이디언트당 업데이트 비용이 일정한 상황에서 일반화 성능과 안정적인 수렴에 어떤 영향을 미치는가?
• RQ2 작은 배치와 큰 배치에서의 배치 정규화가 학습 동역학과 최종 정확도에 미치는 영향은 무엇인가?
• RQ3 다양한 데이터셋에서 대형 배치에서 관찰되는 저하를 점진적 워밍업 전략이 완화하는가?
• RQ4 최적의 배치 크기 규칙(2–32)은 CIFAR-10/100 및 ImageNet에서 최상의 정확도와 안정성을 위해 무엇인가?
• RQ5 BN 배치 크기를 SGD 배치 크기와 분리하는 것이 분산 학습 성능에 어떤 영향을 미치는가?

주요 결과

• 테스트된 아키텍처와 데이터셋에서 일반화 성능이 일관되게 2에서 32 사이의 미니배치 크기에서 가장 좋다.
• 배치 크기를 늘리면 안정적인 수렴과 허용 가능한 테스트 성능을 제공하는 학습률 범위가 줄어든다.
• 배치 정규화는 수렴과 테스트 정확도를 개선하고 중간 규모의 배치 크기로 효과적인 학습을 가능하게 한다; 매우 작은 BN 배치는 완전 연결 계층에 문제가 될 수 있다.
• 점진적 워밍업은 큰 배치 설정에서 안정적인 학습 유지에 도움이 되나 작은 배치의 성능 이점을 완전히 회복시키지는 못한다.
• ImageNet 결과는 16에서 64 사이의 배치 크기에서 최상의 검증 정확도를 보이며, 더 큰 배치는 학습률 선택에 더 민감하다.