[논문 리뷰] Accelerating Deep Neural Network Training with Inconsistent Stochastic Gradient Descent

Linnan Wang, Yi Yang외 2명|arXiv (Cornell University)|2016. 03. 17.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 손실 분산을 기반으로 배치당 학습 노력의 동적 조정을 통해 수렴 속도를 향상시키는 Inconsistent Stochastic Gradient Descent (ISGD)를 제안한다. 통계적 공정 관리 기법을 활용해 부족하게 학습된 배치를 식별하고, 제약 조건이 있는 부분 문제를 해결하여 수렴 속도를 가속화한다. ISGD는 추가 메모리나 복잡한 수정 없이 MNIST, CIFAR-10, ImageNet에서 표준 SGD 대비 최대 28.57% 더 빠른 수렴을 달성한다.

ABSTRACT

SGD is the widely adopted method to train CNN. Conceptually it approximates the population with a randomly sampled batch; then it evenly trains batches by conducting a gradient update on every batch in an epoch. In this paper, we demonstrate Sampling Bias, Intrinsic Image Difference and Fixed Cycle Pseudo Random Sampling differentiate batches in training, which then affect learning speeds on them. Because of this, the unbiased treatment of batches involved in SGD creates improper load balancing. To address this issue, we present Inconsistent Stochastic Gradient Descent (ISGD) to dynamically vary training effort according to learning statuses on batches. Specifically ISGD leverages techniques in Statistical Process Control to identify a undertrained batch. Once a batch is undertrained, ISGD solves a new subproblem, a chasing logic plus a conservative constraint, to accelerate the training on the batch while avoid drastic parameter changes. Extensive experiments on a variety of datasets demonstrate ISGD converges faster than SGD. In training AlexNet, ISGD is 21.05\% faster than SGD to reach 56\% top1 accuracy under the exactly same experiment setup. We also extend ISGD to work on multiGPU or heterogeneous distributed system based on data parallelism, enabling the batch size to be the key to scalability. Then we present the study of ISGD batch size to the learning rate, parallelism, synchronization cost, system saturation and scalability. We conclude the optimal ISGD batch size is machine dependent. Various experiments on a multiGPU system validate our claim. In particular, ISGD trains AlexNet to 56.3% top1 and 80.1% top5 accuracy in 11.5 hours with 4 NVIDIA TITAN X at the batch size of 1536.

연구 동기 및 목표

• 표준 SGD는 샘플링 편향과 이미지 간 내재적 차이로 인해 손실 분산이 다양함에도 불구하고 모든 배치에 동일한 학습 노력이 적용되어 효율성이 떨어지는 문제를 해결하기 위해.
• 손실이 높은 배치가 최적화 진전에 더 기여하므로, 이러한 배치에 학습 노력을 동적으로 재할당하여 학습 효율을 향상시키기 위해.
• 계산 비용이 저렴하고 메모리가 필요 없는 방법을 개발하여 기존 SGD 프레임워크(모멘텀 및 네스테로프 가속 포함)와 원활하게 통합하기 위해.
• 실제 데이터셋에서 불균형한 학습(배치당 기울기 업데이트가 일관되지 않음)이 수렴 속도 향상과 더 나은 일반화를 이끌어내는지 경험적으로 검증하기 위해.

제안 방법

• ISGD는 학습을 확률적 과정으로 모델링하고, 최근 n_b 반복 동안의 배치 손실을 추적하여 평균 손실을 추정하고 동적 상한 제어 한계를 계산한다.
• 손실이 동적 상한을 초과하는 경우, 해당 배치는 부족하게 학습된 것으로 간주되며 추가 업데이트가 필요하다고 판단한다.
• 이러한 배치에 대해 ISGD는 현재 배치 손실과 평균 손실 간의 차이를 최소화하는 부분 문제를 해결하며, 파라미터 변화에 대한 보수적인 제약 조건을 적용하여 과도한 업데이트를 방지한다.
• 이 부분 문제를 통해 고손실 배치에 대해 가속 업데이트를 수행하면서도 현재 모델 파라미터에 가까이 유지함으로써 학습 안정성을 유지한다.
• 실시간으로 배치 손실 행동의 이질성을 탐지하기 위해 통계적 공정 관리 기법을 사용하여 이상 탐지 기능을 제공하며, 보조 메모리 없이 온라인 적응이 가능하다.
• ISGD는 모멘텀 및 네스테로프 가속과 같은 표준 최적화 기법과 호환되며, 기존 딥러닝 학습 파이프라인에 직접 통합된다.

실험 결과

연구 질문

• RQ1 손실 분산을 기반으로 배치당 학습 노력의 동적 조정이 딥 네URAL 네트워크 학습에서 수렴 속도 향상에 기여할 수 있는가?
• RQ2 손실 기반 제어를 통해 저효율 학습 배치를 식별하고 가속화하면 모델 안정성에 영향을 주지 않으면서도 수렴 속도 향상이 가능한가?
• RQ3 다양한 데이터셋과 네트워크 아키텍처에서 불균형 학습은 표준 SGD 대비 수렴 속도와 최종 정확도 측면에서 어떻게 비교되는가?
• RQ4 멀티 GPU 환경에서 배치 크기가 수렴 속도에 미치는 영향은 무엇이며, ISGD는 다양한 시스템 제약 조건 하에서도 어떻게 성능을 발휘하는가?
• RQ5 ISGD는 네스테로프 가속과 같은 고급 최적화 기법과 효과적으로 조합되어 학습 성능을 추가로 향상시킬 수 있는가?

주요 결과

• ImageNet에서 ISGD는 SGD 대비 14.94% 더 빠른 수렴을 달성하여 81% 상위-5 정확도에 도달하는 데 소요 시간을 21.4시간에서 18.2시간으로 줄였다.
• CIFAR-10에서 ISGD는 75% 상위 정확도에 도달하는 데 SGD 대비 23.57% 더 빠르게, 234초 대비 306초를 소요했다.
• MNIST에서 ISGD는 99% 상위 정확도에 도달하는 데 SGD 대비 28.57% 더 빠르게, 40초 대비 56초를 소요했다.
• 모든 데이터셋에서 ISGD의 학습 오차는 항상 SGD 이하를 유지하여 뛰어난 검증 정확도를 설명한다.
• 네스테로프 가속과 결합했을 때 ISGD는 표준 네스테로프 SGD 대비 58% 상위-1 정확도 기준에 13.4% 더 빠르게 도달했다.
• 10회 반복된 경험적 결과는 일관된 성능 향상을 확인하여 불균형 학습의 강건성과 재현 가능성을 입증했다.