[論文レビュー] Bitwise Neural Networks

Minje Kim, Paris Smaragdis|arXiv (Cornell University)|Jan 22, 2016

Neural Networks and Applications参考文献 19被引用数 174

ひとこと要約

この論文は、入力、重み、バイアス、活性化がすべてバイナリである Bitwise Neural Networks (BNN) を導入し、XNORとビット数え上げによるフィードフォワードを可能にし、トレーニングには重み圧縮とノイズ付き逆伝播を含む。MNISTでバイナリ特徴を用いて競争力のある精度と大幅な計算節減を示した。

ABSTRACT

Based on the assumption that there exists a neural network that efficiently represents a set of Boolean functions between all binary inputs and outputs, we propose a process for developing and deploying neural networks whose weight parameters, bias terms, input, and intermediate hidden layer output signals, are all binary-valued, and require only basic bit logic for the feedforward pass. The proposed Bitwise Neural Network (BNN) is especially suitable for resource-constrained environments, since it replaces either floating or fixed-point arithmetic with significantly more efficient bitwise operations. Hence, the BNN requires for less spatial complexity, less memory bandwidth, and less power consumption in hardware. In order to design such networks, we propose to add a few training schemes, such as weight compression and noisy backpropagation, which result in a bitwise network that performs almost as well as its corresponding real-valued network. We test the proposed network on the MNIST dataset, represented using binary features, and show that BNNs result in competitive performance while offering dramatic computational savings.

研究の動機と目的

• 組み込みおよびデバイス上の応用のために、高度に資源効率の良いニューラルネットワークの必要性を動機づける。
• すべての成分がビットで動作し、XNORとビットカウントを用いる、完全にバイナリなニューラルネットワークを提案する。
• トレーニング戦略を開発する：実数値の重み圧縮が、ノイズのある逆伝播を用いた2値化トレーニングに先行する。
• BNNs が大幅に削減された計算要件で MNIST 上で競争力のある性能を達成し得ることを示す。

提案手法

• すべての重み、バイアス、入力、隠れ出力を双極性のバイナリとして表現する。伝播は乗算/加算の代わりに XNOR とビットカウントを用いる。
• 符号活性化を用いて層間の双極性バイナリ信号を維持する。
• BNN への変換を容易にするため、まず重み圧縮を行った実数値ネットワークを訓練する。
• ノイズ付き逆伝播を用いて2値化した重み/信号で実際のBNNを訓練し、学習中に対応する実数値の代理を更新する。
• 入力をバイナライズし、各更新後に重みを再初期化/再2値化する; 多クラス MNIST 評価のためにソフトマックス出力層を用いる。

実験結果

リサーチクエスチョン

• RQ1 重み圧縮とノイズ付き逆伝播で訓練した場合、完全にバイナリ（ビット単位）のニューラルネットワークは実数値ネットワークと画像認識タスクで同等の性能を達成できるか。
• RQ2 ビットワイズ入力/重みと対応する実数値の相手との間で、バイナリ特徴表現を用いた MNIST における精度のトレードオフはどうなるか。
• RQ3 ビット演算（XNOR とビット数え上げ）は精度を保ちながら実質的な計算量とメモリ節約を提供するか。

主な発見

ネットワーク	双極性	0 または 1	固定小数点 (2ビット)
Floating-point (64bits)	1.17%	1.32%	1.36%
BNN	1.33%	1.36%	1.47%

• BNNs は、バイナリ特徴を用いた MNIST で、実数値ネットワークと比較して小さな精度損失で競争力の分類性能を達成する。
• ベースラインの実数値ネットワーク（64-bit 浮動小数点）は、誤差は約 1.17%（双極性入力）、1.32%（0/1入力）、1.36%（固定小数点2-bit入力）。
• 二値化した入力で訓練されたBNNは、テストエラーがおおよそ 1.33%（双極性）、1.36%（0/1）、1.47%（固定小数点2-bit）となる。
• ビット演算アプローチは、乗算/加算を単純なビット演算に置換することで劇的な計算節約を提供し、性能低下は控えめである。
• この研究は、重み圧縮とノイズ付き逆伝播によって支援されると、完全にバイナリなネットワークが標準的な認識タスクでも効果的に動作し得ることを示している。