[논문 리뷰] Pipelined Backpropagation at Scale: Training Large Models without Batches

Atli Kosson, Vitaliy Chiley외 3명|arXiv (Cornell University)|2020. 03. 25.

Advanced Neural Network Applications참고 문헌 53인용 수 9

한 줄 요약

이 논문은 배치 크기가 1인 경우에도 효율적인 하드웨어 활용을 가능하게 하면서 표준 SGD와 유사한 정확도를 달성하기 위해, 세분화된 비동기 파이프라인 역전파 학습 방법을 제안한다. 그래디언트의 오래된 상태 문제와 가중치 불일치 문제를 완화하기 위해 스파이크 보정(Spike Compensation)과 선형 가중치 예측(Linear Weight Prediction)을 도입하였다. CIFAR-10과 ImageNet에서 ResNet 및 VGG 모델을 대상으로 표준 SGD와 유사한 정확도를 달성하였으며, 배치 병렬화 오버헤드 없이도 높은 하드웨어 효율성을 확보하였다.

ABSTRACT

New hardware can substantially increase the speed and efficiency of deep neural network training. To guide the development of future hardware architectures, it is pertinent to explore the hardware and machine learning properties of alternative training algorithms. In this work we evaluate the use of small batch, fine-grained Pipelined Backpropagation, an asynchronous pipeline parallel training algorithm that has significant hardware advantages. We introduce two methods, Spike Compensation and Linear Weight Prediction, that effectively mitigate the downsides caused by the asynchronicity of Pipelined Backpropagation and outperform existing techniques in our setting. We show that appropriate normalization and small batch sizes can also aid training. With our methods, fine-grained Pipelined Backpropagation using a batch size of one can match the accuracy of SGD for multiple networks trained on CIFAR-10 and ImageNet. Simple scaling rules allow the use of existing hyperparameters for traditional training without additional tuning.

연구 동기 및 목표

• 기존의 배치 병렬화 방식이 아닌, 저지연, 세분화된 병렬 처리를 선호하는 신규 하드웨어 아키텍처와 더 잘 맞는 대안적 학습 알고리즘을 탐색하기 위해.
• 작은 또는 단일 배치 크기로 학습할 경우 발생하는 가중치 불일치와 그래디언트 오래됨 현상으로 인해 발생하는 파이프라인 역전파의 불안정성을 해결하기 위해.
• 파이프라인 병렬화의 필링 및 드레인 오버헤드를 제거함으로써 대규모 모델 학습에서 높은 하드웨어 효율성과 확장성을 달성하기 위해.
• 복잡한 초모수 조정 없이도 안정적인 학습을 가능하게 하는 방법을 개발하기 위해, 단순한 스케일링 규칙을 사용함으로써.

제안 방법

• 비동기 파이프라인 학습에서 지연된 가중치 업데이트로 인해 발생하는 급격한 큰 그래디언트 스파이크를 보정하기 위해 스파이크 보정을 도입한다.
• 최근 그래디언트와 모멘텀을 기반으로 향후 가중치 값을 추정하는 선형 가중치 예측(LWP)을 제안하여 오래된 그래디언트의 영향을 줄인다.
• 가중치 불일치와 그래디언트 지연을 최소화하기 위해 마이크로배치 크기를 1로 설정하여 대규모에서의 안정적 학습을 가능하게 한다.
• 배치 크기가 1일 경우 효과적이지 않은 배치 정규화를 대체하기 위해 그룹 정규화 또는 온라인 정규화와 같은 정규화 기법을 적용한다.
• 효과적 배치 크기당 동일한 업데이트 크기를 유지하기 위해 단순한 스케일링 규칙을 사용하여 표준 초모수를 재사용할 수 있도록 한다.
• 표준 SGD 및 PyTorch 구현체와의 비교를 통해 여러 모델(ResNet, VGG)과 데이터셋(CIFAR-10, ImageNet)을 대상으로 프레임워크의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 배치 크기가 1인 파이프라인 역전파가 표준 SGD와 유사한 학습 안정성과 정확도를 달성할 수 있는가?
• RQ2 세분화된 파이프라인 설정에서 그래디언트 오래됨과 가중치 불일치가 학습에 어떤 영향을 미치며, 이를 효과적으로 완화할 수 있는가?
• RQ3 스파이크 보정과 선형 가중치 예측이 복잡한 초모수 조정 없이도 학습을 안정화시킬 수 있는가?
• RQ4 배치 크기가 낮은 환경에서 그룹 정규화나 온라인 정규화와 같은 정규화 기법이 배치 정규화보다 어떻게 성능을 발휘하는가?
• RQ5 단순한 스케일링 규칙을 통해 표준 SGD의 초모수를 재조정 없이 파이프라인 학습에 그대로 적용할 수 있는가?

주요 결과

• 세분화된 파이프라인 역전파에 배치 크기가 1이고 제안된 방법을 적용한 결과, CIFAR-10에서 ResNet-20 및 ResNet-56의 테스트 정확도가 표준 SGD와 0.5% 이내로 유사하게 달성되었다.
• ImageNet에서는 ResNet-56을 사용하여 상위-1 정확도 92.48%를 달성하였으며, 표준 SGD와 동일한 성능을 보였다.
• 스파이크 보정과 선형 가중치 예측은 비동기 가중치 업데이트와 그래디언트 오래됨으로 인한 학습 불안정성을 크게 감소시켰다.
• 스파이크 보정과 LWP${}^{ ext{v}}_{ ext{D}}$의 조합은 LWP${}^{ ext{w}}_{ ext{D}}$보다 우수한 성능을 보였으며, 특히 소규모 배치 조건에서 두드러졌다.
• 그룹 정규화나 온라인 정규화와 같은 정규화 기법은 저배치 학습 환경에서 배치 정규화를 효과적으로 대체하며, 수렴 안정성을 유지한다.
• 단순한 스케일링 규칙을 통해 표준 SGD의 초모수를 재조정 없이 그대로 재사용할 수 있었으며, 새로운 하드웨어에 즉시 통합할 수 있는 플러그 앤 플레이 배포를 가능하게 하였다.