[논문 리뷰] Binarized Neural Networks

Itay Hubara, Daniel Soudry외 1명|arXiv (Cornell University)|2016. 02. 08.

Advanced Neural Network Applications인용 수 919

한 줄 요약

본 논문은 이진 가중치와 이진 활성화를 갖는 이진 신경망(BNN)을 학습시켜 MNIST, CIFAR-10, SVHN에서 거의 최첨단에 근접한 성능을 달성하고, 메모리/계산량을 크게 줄이며 이진 GEMM 커널을 통해 MNIST에서 7배의 속도 향상을 가능하게 한다.

ABSTRACT

We introduce a method to train Binarized Neural Networks (BNNs) - neural networks with binary weights and activations at run-time and when computing the parameters' gradient at train-time. We conduct two sets of experiments, each based on a different framework, namely Torch7 and Theano, where we train BNNs on MNIST, CIFAR-10 and SVHN, and achieve nearly state-of-the-art results. During the forward pass, BNNs drastically reduce memory size and accesses, and replace most arithmetic operations with bit-wise operations, which might lead to a great increase in power-efficiency. Last but not least, we wrote a binary matrix multiplication GPU kernel with which it is possible to run our MNIST BNN 7 times faster than with an unoptimized GPU kernel, without suffering any loss in classification accuracy. The code for training and running our BNNs is available.

연구 동기 및 목표

• 가중치와 활성화를 이진화하여 신경망의 메모리 사용량과 전력 소비를 줄이는 동기를 제시한다.
• 효율적인 학습을 가능하게 하기 위한 학습 시점의 그래디언트 계산과 런타임 이진화를 조사한다.
• 다양한 프레임워크에 걸쳐 표준 벤치마크(MNIST, CIFAR-10, SVHN)에서 BNN을 평가한다.
• 추론/학습을 가속하기 위한 최적화된 이진 행렬 곱셈 커널을 제공한다.

제안 방법

• 순전파 및 학습 시 그래디언트 계산 동안 가중치와 활성화를 이진 값으로 표현한다.
• 두 프레임워크(Torch7와 Theano)를 사용하여 프레임워크에 구애받지 않는 성능을 검증한다.
• MNIST, CIFAR-10, SVHN에서 분류 정확도와 효율성을 평가한다.
• 계산을 가속하기 위한 이진 행렬 곱셈 GPU 커널을 개발하고, MNIST에서 7x 속도향상으로 시연한다.
• BNN의 학습 및 런타임 코드를 공개한다.

실험 결과

연구 질문

• RQ1 이진화된 신경망이 표준 벤치마크(MNIST, CIFAR-10, SVHN)에서 전체 정밀도 모델에 비해 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 순전파와 학습 과정에서 이진 가중치/활성화가 메모리 사용량과 산술 연산을 얼마나 줄이는가?
• RQ3 정확도를 손상시키지 않으면서 실제 작업 부하(예: MNIST)에서 이진 행렬 곱셈 커널로 얼마나 많은 속도향상을 달성할 수 있는가?
• RQ4 다른 딥러닝 프레임워크(Torch7, Theano) 간에 결과가 일관된가?

주요 결과

• BNNs achieve nearly state-of-the-art results on MNIST, CIFAR-10, and SVHN.
• Forward passes in BNNs substantially reduce memory usage and rely on bit-wise operations to replace most arithmetic.
• A binary matrix multiplication GPU kernel yields a significant speedup (7x for MNIST) without accuracy loss.
• The authors provide training and runtime code for reproducibility and further research.