[논문 리뷰] BinaryNet: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1

Matthieu Courbariaux, Yoshua Bengio|arXiv (Cornell University)|2016. 02. 09.

Advanced Neural Network Applications인용 수 490

한 줄 요약

BinaryNet은 가중치와 활성화를 +1 또는 -1로 제약하여, 곱셈 대신 XNOR 연산을 사용함으로써 효율적인 추론을 가능하게 하는 방법을 제안한다. 이 방법은 MNIST, CIFAR-10, SVHN에서 최신 기준 수준의 정확도를 달성하면서 메모리 사용량을 줄이고 추론 속도를 높이며, 정확도 손실 없이 전용 GPU 커널을 사용해 MNIST에서 7배의 속도 향상을 보였다.

ABSTRACT

We introduce BinaryNet, a method which trains DNNs with binary weights and activations when computing parameters' gradient. We show that it is possible to train a Multi Layer Perceptron (MLP) on MNIST and ConvNets on CIFAR-10 and SVHN with BinaryNet and achieve nearly state-of-the-art results. At run-time, BinaryNet drastically reduces memory usage and replaces most multiplications by 1-bit exclusive-not-or (XNOR) operations, which might have a big impact on both general-purpose and dedicated Deep Learning hardware. We wrote a binary matrix multiplication GPU kernel with which it is possible to run our MNIST MLP 7 times faster than with an unoptimized GPU kernel, without suffering any loss in classification accuracy. The code for BinaryNet is available.

연구 동기 및 목표

• 가중치와 활성화를 +1 또는 -1로 제약하여 딥 네럴 네트워크에서 효율적인 추론을 가능하게 하기 위해.
• 딥 러닝을 위한 일반 및 전용 하드웨어에서 메모리 사용량과 계산 비용을 줄이기 위해.
• 극도의 가중치 및 활성화 양자화에도 불구하고 높은 분류 정확도를 유지하기 위해.
• 이진 기울기(backpropagation)를 지원하는 훈련 방법을 개발하여 엔드 투 엔드 학습을 가능하게 하기 위해.
• 최적화된 GPU 커널을 사용해 이진 행렬 곱셈을 통해 실질적인 속도 향상을 보여주기 위해.

제안 방법

• 전방 및 역방향 전파 동안 이진 가중치와 활성화를 사용하며, 기울기는 직선 통과 추정기(straight-through estimator)를 사용해 계산한다.
• 완전 정밀도 가중치는 기울기 계산에만 사용되고, 전체 과정은 이진 가중치와 활성화로 훈련되며, 확률적 경사 하강법을 사용한다.
• GPU에 이진 행렬 곱셈 커널을 구현하여 XNOR 및 비트 세기 연산을 통해 추론을 가속화한다.
• 백프로파게이션 중 이진화로 인한 정보 손실을 줄이기 위해 스케일링 인자를 도입한다.
• 훈련 과정에서 전체 정밀도 가중치를 갱신하고, 이를 추론을 위해 ±1로 투영한다.
• MLP는 MNIST에, ConvNet은 CIFAR-10과 SVHN에 적용하여 다양한 아키텍처와 데이터셋에서의 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 가중치와 활성화를 ±1로 제약함으로써 딥 네럴 네트워크를 효과적으로 훈련시킬 수 있을까? 정확도가 심각하게 떨어지지 않을까?
• RQ2 BinaryNet의 성능은 MNIST, CIFAR-10, SVHN과 같은 표준 벤치마크에서 정밀도가 높은 네트워크와 비교해 어떻게 될까?
• RQ3 이진 추론은 딥 러닝 시스템에서 메모리 사용량을 얼마나 줄이고 계산을 얼마나 가속화할 수 있을까?
• RQ4 이진 행렬 곱셈을 위한 전용 GPU 커널은 정확도 손실 없이 추론 속도 향상에 기여할 수 있을까?
• RQ5 이진 가중치와 활성화를 가진 네트워크에서 백프로파게이션에 직선 통과 추정기가 효과적인가?

주요 결과

• BinaryNet은 이진 가중치와 활성화를 사용함에도 불구하고 MNIST, CIFAR-10, SVHN에서 거의 최신 기준 수준의 분류 정확도를 달성한다.
• 가중치와 활성화를 32비트 부동소수점 대신 1비트로 저장함으로써 메모리 사용량을 크게 줄였다.
• 대부분의 곱셈 연산을 XNOR 및 비트 세기 연산으로 대체함으로써 현대 하드웨어에서 매우 효율적인 추론이 가능해졌다.
• 전용 이진 행렬 곱셈 GPU 커널을 통해 정확도 손실 없이 MNIST 추론에서 7배의 속도 향상을 달성했다.
• 직선 통과 추정기를 사용한 훈련 절차는 모든 테스트 데이터셋에서 효과적인 백프로파게이션과 수렴을 가능하게 했다.
• 이 방법은 다양한 네트워크 아키텍처(MLP 및 ConvNet)와 여러 벤치마크 데이터셋에 일반화 가능하다.