[논문 리뷰] Bitwise Neural Networks

Minje Kim, Paris Smaragdis|arXiv (Cornell University)|2016. 01. 22.

Neural Networks and Applications참고 문헌 19인용 수 174

한 줄 요약

이 논문은 모든 입력, 가중치, 편향 및 활성화가 이진인 Bitwise Neural Networks(BNNs)를 도입합니다. XNOR 및 비트 카운팅으로 feedforward가 가능하고, 가중치 압축 및 노이즈 있는 역전파를 포함한 훈련을 통해 MNIST에서 이진 특징으로 학습했을 때 경쟁력 있는 정확도와 상당한 계산 절감을 보여줍니다.

ABSTRACT

Based on the assumption that there exists a neural network that efficiently represents a set of Boolean functions between all binary inputs and outputs, we propose a process for developing and deploying neural networks whose weight parameters, bias terms, input, and intermediate hidden layer output signals, are all binary-valued, and require only basic bit logic for the feedforward pass. The proposed Bitwise Neural Network (BNN) is especially suitable for resource-constrained environments, since it replaces either floating or fixed-point arithmetic with significantly more efficient bitwise operations. Hence, the BNN requires for less spatial complexity, less memory bandwidth, and less power consumption in hardware. In order to design such networks, we propose to add a few training schemes, such as weight compression and noisy backpropagation, which result in a bitwise network that performs almost as well as its corresponding real-valued network. We test the proposed network on the MNIST dataset, represented using binary features, and show that BNNs result in competitive performance while offering dramatic computational savings.

연구 동기 및 목표

• 임베디드 및 온-디바이스 응용을 위한 고자원 효율 신경망의 필요성에 대한 동기 부여.
• 모든 구성요소가 비트로 작동하는 완전 이진 신경망을 제안합니다: XNOR와 비트 카운팅 사용.
• 가중치 압축으로 실수값 네트워크를 먼저 학습한 후 이를 이진화 학습으로 전환하는 전략 개발.
• 가중치 압축과 노이즈 백프로파게이션으로 MNIST에서 경쟁력 있는 성능과 현저한 계산 요구 절감을 달성할 수 있음을 시연합니다.

제안 방법

• 모든 가중치/바이어스/입력/숨겨진 출력을 양극성 이진으로 표현하며, 피드포워드는 곱셈/덧셈 대신 XNOR 및 비트 카운팅을 사용합니다.
• 층 간 양극성 이진 신호를 유지하기 위해 부호 활성화를 사용합니다.
• 변환 용이성을 높이기 위해 먼저 가중치 압축된 실수 네트워크를 학습합니다.
• 노이즈 역전파를 사용한 이진 가중치/신호를 가진 실제 BNN을 학습하고 학습 중에 대응하는 실수 프록시를 업데이트합니다.
• 입력을 이진화하고 각 업데이트 후 가중치를 재초기화/이진화합니다. MNIST 다중 클래스 평가를 위해 소프트맥스 출력층을 사용합니다.

실험 결과

연구 질문

• RQ1 가중치 압축과 노이즈 역전파로 학습될 때 완전 이진(bitwise) 신경망이 이미지 인식 과제에서 실수값 네트워크의 성능에 맞먹을 수 있는가?
• RQ2 이진 특징 표현에서 비트화된 입력/가중치와 실수값 대응 간 MNIST에서 정확도 트레이드오프는 어떤가?
• RQ3 XNOR 및 비트 카운팅과 같은 비트 기반 연산이 정확도를 유지하면서 계산 및 메모리 절감을 크게 제공하는가?

주요 결과

네트워크	양극성	0 또는 1	고정 소수점(2비트)
Floating-point (64bits)	1.17%	1.32%	1.36%
BNN	1.33%	1.36%	1.47%

• BNNs는 이진 특징을 가진 MNIST에서 실수값 네트워크에 비해 작은 정확도 손실로도 경쟁력 있는 분류 성능을 달성합니다.
• 기준 실수값 네트워크(64비트 부동소수점)는 오차가 약 1.17%(양극성 입력), 1.32%(0/1 입력), 1.36%(고정 소수점 2비트 입력)입니다.
• 이진 입력으로 학습된 BNN은 테스트 오차가 약 1.33%(양극성), 1.36%(0/1), 1.47%(고정 소수점 2비트)입니다.
• 비트 기반 접근은 곱셈/덧셈을 간단한 비트 연산으로 대체하여 계산 절감을 크게 제공하며 성능 저하는 완만합니다.
• 연구는 가중치 압축과 노이즈 역전파로 보조될 때 완전 이진 네트워크가 표준 인식 과제에 효과적으로 작동할 수 있음을 시연합니다.