[논문 리뷰] The Effect of Network Width on the Performance of Large-batch Training

Lingjiao Chen, Hongyi Wang외 3명|arXiv (Cornell University)|2018. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 8

한 줄 요약

이 논문은 신경망의 너비와 깊이가 대용량 배치 학습 성능에 미치는 영향을 조사하며, 이론적으로도 실험적으로도 더 넓고 얕은 네트워크가 더 높은 기울기 다양성 덕분에 대용량 배치에서도 빠른 수렴을 유지하는 반면, 더 깊은 네트워크는 수렴 속도가 느려진다는 것을 보여줍니다. 주요 기여는 고정된 파라미터 수에서 너비를 증가시키면 기울기 다양성이 향상되어 대용량 배치 학습에 더 잘 적응하게 되며, 성능 저하 없이 분산 학습의 확장성 향상이 가능하다는 것을 입증한 것입니다.

ABSTRACT

Distributed implementations of mini-batch stochastic gradient descent (SGD) suffer from communication overheads, attributed to the high frequency of gradient updates inherent in small-batch training. Training with large batches can reduce these overheads; however, large batches can affect the convergence properties and generalization performance of SGD. In this work, we take a first step towards analyzing how the structure (width and depth) of a neural network affects the performance of large-batch training. We present new theoretical results which suggest that--for a fixed number of parameters--wider networks are more amenable to fast large-batch training compared to deeper ones. We provide extensive experiments on residual and fully-connected neural networks which suggest that wider networks can be trained using larger batches without incurring a convergence slow-down, unlike their deeper variants.

연구 동기 및 목표

• 신경망 아키텍처—특히 너비와 깊이—가 대용량 배치 학습 성능에 미치는 영향를 이해하는 것.
• 기울기 다양성이 대용량 배치 학습의 효과성을 결정짓는 핵심 요인으로서의 역할을 분석하는 것.
• 총 파라미터 수가 고정된 조건에서 더 넓은 네트워크가 더 깊은 네트워크보다 대용량 배치 학습에 더 잘 적응하는지 조사하는 것.
• 너비가 기울기 다양성을 증가시켜 대용량 배치에서 더 빠른 수렴을 가능하게 함을 이론적이고 경험적으로 입증하는 것.

제안 방법

• 랜덤 가중치 초기화 하에서 두 층의 완전 연결 선형 및 비선형 네트워크와 다층 선형 네트워크의 기울기 다양성에 대한 이론적 분석.
• 다른 데이터 포인트의 기울기 간 내적 기대값을 유도하여 기울기 다양성을 너비와 깊이의 함수로 정량화.
• 기울기 곱의 기대값을 계산하기 위해 동일한 분포를 가진 가우시안 가중치와 활성화 함수 사용.
• 깊은 선형 네트워크에서 기울기 내적의 폐쇄형 표현식 유도하여 너비 증가에 따라 기울기 다양성이 증가하고 깊이 증가에 따라 감소함을 보여줌.
• 고정된 파라미터 수에서 깊이와 너비를 변화시켜 CIFAR10, MNIST, EMNIST, Gisette 및 합성 데이터셋에서의 경험적 평가.
• 다양한 배치 크기에서 수렴 속도(96% 정확도에 도달하는 에포크 수) 측정을 통해 수렴 속도가 느려지는 배치 크기 임계값 $B^*$ 식별.

실험 결과

연구 질문

• RQ1 네트워크의 너비가 대용량 배치 학습에서 기울기 다양성에 미치는 영향은 무엇인가요?
• RQ2 깊이를 늘리는 것보다 너비를 늘리면 대용량 배치 SGD의 수렴 속도가 향상되는가요?
• RQ3 네트워크의 너비와 수렴 속도가 느려지는 배치 크기 임계값 $B^*$ 사이에 이론적 관계가 존재하는가요?
• RQ4 깊은 선형 네트워크에서 기울기 다양성은 깊이와 너비에 따라 어떻게 변화하는가요?
• RQ5 더 넓은 네트워크는 대용량 배치에서 수렴 속도를 유지할 수 있지만, 더 깊은 네트워크는 그렇지 못한가요?

주요 결과

• 총 파라미터 수가 동일할 때 더 넓은 네트워크가 더 깊은 네트워크보다 더 높은 기울기 다양성을 보입니다.
• 파라미터 수가 고정된 조건에서 너비를 증가시키고 깊이를 감소시키면 기울기 다양성이 단조적으로 증가합니다.
• 수렴 속도가 느려지는 임계 배치 크기 $B^*$ 는 더 깊은 네트워크에서 더 작으며, 이는 더 깊은 네트워크가 대용량 배치 학습에 덜 적합함을 시사합니다.
• 경험적 결과는 더 넓은 네트워크가 대용량 배치에서 더 적은 에포크 수로 수렴하는 반면, 더 깊은 네트워크는 수렴 속도 저하를 겪는다는 것을 확인합니다.
• 이론적 분석은 기울기 다양성이 너비 증가에 따라 증가하고 깊이 증가에 따라 감소함을 보여주며, 관찰된 경험적 행동을 설명합니다.
• 이 연구는 아키텍처 설계—특히 너비—를 활용하여 대용량 배치 수렴 속도 향상으로 인해 분산 학습의 확장성을 향상시킬 수 있음을 입증합니다.