[논문 리뷰] Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1

Matthieu Courbariaux, Itay Hubara외 3명|arXiv (Cornell University)|2016. 02. 09.

Advanced Neural Network Applications참고 문헌 57인용 수 2,193

한 줄 요약

이 논문은 가중치와 활성화가 학습 및 추론 중에 ±1로 제약되는 이진 신경망(BNN)을 도입합니다. 이는 효율적인 순전파와 GPU/ 하드웨어 가속을 가능하게 하면서 MNIST, CIFAR-10, SVHN에서 거의 최첨단의 결과를 달성합니다.

ABSTRACT

We introduce a method to train Binarized Neural Networks (BNNs) - neural networks with binary weights and activations at run-time. At training-time the binary weights and activations are used for computing the parameters gradients. During the forward pass, BNNs drastically reduce memory size and accesses, and replace most arithmetic operations with bit-wise operations, which is expected to substantially improve power-efficiency. To validate the effectiveness of BNNs we conduct two sets of experiments on the Torch7 and Theano frameworks. On both, BNNs achieved nearly state-of-the-art results over the MNIST, CIFAR-10 and SVHN datasets. Last but not least, we wrote a binary matrix multiplication GPU kernel with which it is possible to run our MNIST BNN 7 times faster than with an unoptimized GPU kernel, without suffering any loss in classification accuracy. The code for training and running our BNNs is available on-line.

연구 동기 및 목표

• 이진 가중치와 활성화 등을 사용하는 신경망의 학습을 동기 부여하고 가능하게 한다.
• 바이너리 제약이 메모리를 줄이고 순전파 중 비트 단위 연산을 가능하게 함을 입증한다.
• TORCH7와 Theano 구현에서 MNIST, CIFAR-10 및 SVHN에 대해 거의 최첨단 수준의 정확도를 보인다.
• BNNS를 위한 하드웨어 지향 이점과 GPU 커널 최적화를 제안한다.

제안 방법

• 가중치와 활성화에 대한 결정론적 및 확률적 이진화 함수를 정의한다.
• 이산화(부호 함수)를 통해 기울기를 전파하기 위해 직전추정자(straight-through estimators)를 사용한다.
• 곱셈을 줄이기 위해 시프트 기반 배치 정규화와 시프트 기반 AdaMax를 적용한다.
• 실수 값 가중치를 -1에서 1 사이로 이진화하고 순전파 시 이진화한다; 실수 값 그래디언트를 누적한다.
• 이진 행렬 곱셈 커널(XNOR-팝카운트)과 SWAR 기법을 구현하여 속도 향상을 달성한다.
• MNIST, CIFAR-10, SVHN에서 Torch7와 Theano로 BNNS를 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 가중치와 활성화가 이진인 네트워크가 표준 벤치마크에서 거의 최첨단 정확도에 도달할 수 있는가?
• RQ2 BNNS의 순전파 중 메모리 및 에너지 효율성 이점은 무엇인가?
• RQ3 이진화가 기울기 전파와 학습 안정성에 어떤 영향을 미치며, straight-through estimators로 충분한가?
• RQ4 GPU에서 BNNS의 속도 향상을 극대화할 수 있는 하드웨어 가속화(예: XNOR-popcount, SWAR)는 무엇인가?

주요 결과

• BNNs은 Torch7와 Theano 구현에서 MNIST, CIFAR-10, SVHN에서 거의 최첨단 결과를 달성한다.
• BNNs은 순전파 중 메모리 사용량과 메모리 액세스를 크게 감소시키고 많은 산술 연산을 비트 단위 연산으로 대체한다.
• A binary matrix multiplication GPU kernel runs MNIST BNN seven times faster than an unoptimized kernel without accuracy loss.
• Shift-based Batch Normalization and AdaMax can reduce multiplications with no observed accuracy loss in experiments.
• There are strong hardware implications: many filters repeat in binary ConvNets, enabling potential further speedups on dedicated hardware.