[論文レビュー] BinaryNet: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1

Matthieu Courbariaux, Yoshua Bengio|arXiv (Cornell University)|Feb 9, 2016

Advanced Neural Network Applications被引用数 490

ひとこと要約

BinaryNet は、重みと活性化を +1 または -1 に制限することで、乗算の代わりに XNOR 演算を用いることで、効率的な推論を可能にする深層ニューラルネットワークのトレーニング手法を提案する。この手法は、MNIST、CIFAR-10、SVHN において準SOTA（SOTAに近い）の精度を達成するとともに、メモリ使用量を削減し、推論を高速化する。カスタムGPUカーネルを用いることで、MNIST で 7 倍の高速化を達成し、精度の損失なしに実現した。

ABSTRACT

We introduce BinaryNet, a method which trains DNNs with binary weights and activations when computing parameters' gradient. We show that it is possible to train a Multi Layer Perceptron (MLP) on MNIST and ConvNets on CIFAR-10 and SVHN with BinaryNet and achieve nearly state-of-the-art results. At run-time, BinaryNet drastically reduces memory usage and replaces most multiplications by 1-bit exclusive-not-or (XNOR) operations, which might have a big impact on both general-purpose and dedicated Deep Learning hardware. We wrote a binary matrix multiplication GPU kernel with which it is possible to run our MNIST MLP 7 times faster than with an unoptimized GPU kernel, without suffering any loss in classification accuracy. The code for BinaryNet is available.

研究の動機と目的

• 重みと活性化を +1 または -1 に制限することで、深層ニューラルネットワークにおける効率的な推論を実現すること。
• 一般用途および専用ハードウェアの両方において、深層学習のためのメモリ使用量と計算コストを削減すること。
• 極めて高い量子化（バイナリ化）を施した重みと活性化であっても、高い分類精度を維持すること。
• バックプロパゲーションに対応するバイナリ勾配を用いるトレーニング手法を開発し、エンドツーエンド学習を可能にすること。
• 最適化されたGPUカーネルを用いて、バイナリ行列乗算の推論で実用的な高速化を示すこと。

提案手法

• 順伝播および逆伝播の両方でバイナリ重みと活性化が使用され、勾配はストレートスラッシュ推定法（straight-through estimator）を用いて計算される。
• 確率的勾配降下法を用いて、バイナリ重みと活性化でネットワークをトレーニングするが、勾配計算にはフル精度の重みのみが使用される。
• GPU上にバイナリ行列乗算カーネルを実装し、XNOR およびビットカウント演算を用いて推論を高速化する。
• バックプロパゲーション中にバイナリ化による情報損失を軽減するために、スケーリング要因を導入する。
• トレーニングプロセスでは、フル精度重みの更新と、推論用に ±1 に投影する操作を交互に実行する。
• このアプローチは、MNIST におけるMLPおよびCIFAR-10とSVHNにおけるConvNetsに適用され、アーキテクチャおよびデータセットの両方で汎用性が示された。

実験結果

リサーチクエスチョン

• RQ1 重みと活性化を ±1 に制限した場合でも、深層ニューラルネットワークを効果的にトレーニングできるか、精度の著しい低下は生じないか？
• RQ2 MNIST、CIFAR-10、SVHN といった標準ベンチマークにおいて、BinaryNet の性能はフル精度ネットワークと比べてどの程度か？
• RQ3 バイナリ推論は、深層学習システムにおいて、どの程度メモリ使用量を削減し、計算を高速化できるか？
• RQ4 バイナリ行列乗算用のカスタムGPUカーネルは、精度の損失なしに、推論で測定可能な高速化を達成できるか？
• RQ5 バイナリ重みと活性化を持つネットワークにおいて、ストレートスラッシュ推定法はバックプロパゲーションに有効か？

主な発見

• BinaryNet は、バイナリ重みと活性化を用いても、MNIST、CIFAR-10、SVHN でほぼSOTAの分類精度を達成した。
• 重みと活性化を32ビット浮動小数点ではなく1ビットに格納することで、メモリ使用量を顕著に削減した。
• 推論において、多くの乗算をXNORおよびビットカウント演算に置き換えることで、現代のハードウェアで非常に効率的な処理が可能になった。
• カスタムのバイナリ行列乗算GPUカーネルにより、最適化されていないカーネルと比較して、MNIST 推論で7倍の高速化が達成され、精度に損失は生じなかった。
• ストレートスラッシュ推定法を用いたトレーニング手順により、すべてのテストデータセットで効果的なバックプロパゲーションと収束が実現された。
• このアプローチは、MLP および ConvNets を含むさまざまなネットワークアーキテクチャに一般化可能であり、複数のベンチマークデータセットでも有効であることが示された。