[논문 리뷰] 8-Bit Approximations for Parallelism in Deep Learning

Tim Dettmers|arXiv (Cornell University)|2016. 01. 01.

Advanced Neural Network Applications인용 수 30

한 줄 요약

이 논문은 대규모 GPU 시스템에서의 통신 효율성을 향상시키기 위해 딥러닝에서 기울기와 활성화를 8비트로 근사화하는 방법을 제안한다. 32비트 데이터를 8비트로 압축함으로써, 96개 GPU에서 최대 50배의 성능 향상을 달성하며, 모델 정확도를 손상시키지 않고 대역폭 효율성을 두 배로 높였다. 이는 모델 병렬 처리 및 데이터 병렬 처리 환경에서 MNIST, CIFAR10, ImageNet에서 성능을 유지한다.

ABSTRACT

Abstract: The creation of practical deep learning data-products often requires parallelization across processors and computers to make deep learning feasible on large data sets, but bottlenecks in communication bandwidth make it difficult to attain good speedups through parallelism. Here we develop and test 8-bit approximation algorithms which make better use of the available bandwidth by compressing 32-bit gradients and nonlinear activations to 8-bit approximations. We show that these approximations do not decrease predictive performance on MNIST, CIFAR10, and ImageNet for both model and data parallelism and provide a data transfer speedup of 2x relative to 32-bit parallelism. We build a predictive model for speedups based on our experimental data, verify its validity on known speedup data, and show that we can obtain a speedup of 50x and more on a system of 96 GPUs compared to a speedup of 23x for 32-bit. We compare our data types with other methods and show that 8-bit approximations achieve state-of-the-art speedups for model parallelism. Thus 8-bit approximation is an efficient method to parallelize convolutional networks on very large systems of GPUs.

연구 동기 및 목표

• 제한된 대역폭으로 인해 발생하는 대규모 딥러닝 시스템의 통신 병목 현상을 해결하기 위해.
• 기울기와 비선형 활성화의 8비트 근사화가 병렬 처리 효율성을 향상시키면서도 모델 성능을 유지할 수 있는지 탐색하기 위해.
• 8비트 근사화 하에서의 성능 향상 수치를 예측할 수 있는 모델을 개발하고 검증하기 위해.
• 96개 GPU 시스템에서 8비트 방법이 32비트 병렬 처리보다 성능 향상 측면에서 뛰어나다는 것을 입증하기 위해.
• 8비트 근사화를 딥러닝에서 모델 병렬 처리의 최신 기술로 정립하기 위해.

제안 방법

• 데이터 전송량을 줄이기 위해 32비트 기울기와 비선형 활성화를 8비트 표현으로 압축하기 위해.
• 정밀도가 낮아져도 모델 정확도를 유지할 수 있도록 근사 알고리즘을 설계하기 위해.
• 여러 데이터셋에서 모델 병렬 처리 및 데이터 병렬 처리 환경에 8비트 근사화를 구현하기 위해.
• MNIST, CIFAR10, ImageNet에서의 실험 데이터를 기반으로 성능 향상 예측 모델을 구축하기 위해.
• 기존의 성능 향상 데이터를 사용하여 예측 모델의 정확성과 일반화 능력을 검증하기 위해.
• 기존 방법과의 비교를 통해 8비트 근사화가 모델 병렬 처리에서 더 뛰어난 성능 향상 성능을 보임을 입증하기 위해.

실험 결과

연구 질문

• RQ1 MNIST, CIFAR10, ImageNet과 같은 표준 벤치마크에서 기울기와 활성화의 8비트 근사화가 예측 성능를 유지할 수 있는가?
• RQ2 대규모 GPU 시스템에서 8비트 근사화가 통신 효율성과 성능 향상에 얼마나 기여하는가?
• RQ3 8비트 근사화 기반의 성능 향상 예측 모델이 실제 성능 향상 데이터와 비교해 어떻게 성능을 내는가?
• RQ4 96개 GPU 시스템에서 8비트 근사화가 32비트 병렬 처리보다 더 높은 성능 향상을 달성할 수 있는가?
• RQ5 기존 방법과 비교해 8비트 근사화가 모델 병렬 처리에서 성능 향상 측면에서 어떻게 다른가?

주요 결과

• 8비트 근사화는 예측 성능에 손실 없이 32비트 병렬 처리 대비 데이터 전송 속도를 2배로 높였다.
• 96개 GPU로 구성된 시스템에서 8비트 근사화는 50배의 성능 향상을 기록했으며, 32비트 병렬 처리는 23배의 성능 향상에 그쳤다.
• 모델 병렬 처리 및 데이터 병렬 처리 환경에서 MNIST, CIFAR10, ImageNet 전반에 걸쳐 정확도를 유지했다.
• 기존의 성능 향상 데이터를 사용하여 성능 향상 예측 모델을 검증함으로써 그 신뢰성을 확인했다.
• 8비트 근사화는 모델 병렬 처리에서 최신 기술 수준의 성능 향상을 달성했으며, 기존 방법들을 능가했다.
• 대역폭 사용을 최적화함으로써 매우 큰 GPU 시스템에서 합성곱 신경망의 효율적 병렬 처리를 가능하게 했다.