[論文レビュー] Binarized Neural Networks

Itay Hubara, Daniel Soudry+1 more|arXiv (Cornell University)|Feb 8, 2016

Advanced Neural Network Applications被引用数 919

ひとこと要約

この論文は、二値重みと二値活性化を用いてバイナリ化ニューラルネットワーク(BNN)を訓練し、MNIST、CIFAR-10、SVHNにおいて最先端に近い結果を達成しつつ、メモリ/計算量を大幅に削減し、MNISTでバイナリGEMMカーネルを用いた7倍のスピードアップを実現する。

ABSTRACT

We introduce a method to train Binarized Neural Networks (BNNs) - neural networks with binary weights and activations at run-time and when computing the parameters' gradient at train-time. We conduct two sets of experiments, each based on a different framework, namely Torch7 and Theano, where we train BNNs on MNIST, CIFAR-10 and SVHN, and achieve nearly state-of-the-art results. During the forward pass, BNNs drastically reduce memory size and accesses, and replace most arithmetic operations with bit-wise operations, which might lead to a great increase in power-efficiency. Last but not least, we wrote a binary matrix multiplication GPU kernel with which it is possible to run our MNIST BNN 7 times faster than with an unoptimized GPU kernel, without suffering any loss in classification accuracy. The code for training and running our BNNs is available.

研究の動機と目的

• ニューロンの重みと活性化を二値化することにより、神経ネットワークのメモリ使用量と電力消費を削減する動機付け。
• 効率的な学習を可能にするため、訓練時の勾配計算と実行時の二値化を調査。
• 標準ベンチマーク(MNIST, CIFAR-10, SVHN)でBNNを、異なるフレームワークに跨って評価。
• 推論/訓練を加速する最適化されたバイナリ行列乗算カーネルを提供。

提案手法

• forward passと訓練時の勾配計算中、重みと活性化を二値として表現。
• フレームワーク非依存の性能を検証するため、二つのフレームワーク（Torch7とTheano）を用いて訓練。
• MNIST, CIFAR-10, SVHNで分類精度と効率を評価。
• 計算を加速するためのバイナリ行列乗算GPUカーネルを開発し、MNISTで7xの速度アップを実証。
• BNNの訓練および実行時コードを公開する。

実験結果

リサーチクエスチョン

• RQ1 二値化ニューラルネットワークは、標準ベンチマーク(MNIST, CIFAR-10, SVHN)で、全精度モデルと比較して競争力のある精度を達成できるか。
• RQ2 二値重み/活性化は、フォワードと訓練パス中のメモリ使用量と演算数をどの程度削減するか。
• RQ3 実用的ワークロード（例：MNIST）で、精度を犠牲にせずにバイナリ行列乗算カーネルでどれくらいのスピードアップが得られるか。
• RQ4 結果は異なる深層学習フレームワーク（Torch7、Theano）間で一貫しているか。

主な発見

• BNNsはMNIST、CIFAR-10、SVHNでほぼ最先端の結果を達成。
• BNNのフォワードパスはメモリ使用を大幅に削減し、ほとんどの算術をビット演算で置換。
• バイナリ行列乗算GPUカーネルは精度を犠牲にせず、顕著なスピードアップ（MNISTで7x）をもたらす。
• 著者らは再現性と今後の研究のために訓練および実行時コードを提供。