[論文レビュー] Efficient Stochastic Inference of Bitwise Deep Neural Networks

Sebastian Vogel, Christoph Schorn+2 more|arXiv (Cornell University)|Nov 20, 2016

Advanced Neural Network Applications参考文献 14被引用数 11

ひとこと要約

本稿では、分類精度を高精度モデルを上回るよう、ビット単位の深層ニューラルネットワーク（BNN）のアンサンブルネットワークを用いた確率的推論を提案する。推論時における確率的重み射影を適用し、LFSRによって生成されるビットストリームを用いたハードウェア効率の良い確率的丸めを活用することで、CIFAR-10で5.81%、GTSRBで1.63%のテスト誤差を達成し、元の高精度ネットワークを上回る性能を発揮した。

ABSTRACT

Recently published methods enable training of bitwise neural networks which allow reduced representation of down to a single bit per weight. We present a method that exploits ensemble decisions based on multiple stochastically sampled network models to increase performance figures of bitwise neural networks in terms of classification accuracy at inference. Our experiments with the CIFAR-10 and GTSRB datasets show that the performance of such network ensembles surpasses the performance of the high-precision base model. With this technique we achieve 5.81% best classification error on CIFAR-10 test set using bitwise networks. Concerning inference on embedded systems we evaluate these bitwise networks using a hardware efficient stochastic rounding procedure. Our work contributes to efficient embedded bitwise neural networks.

研究の動機と目的

• 確率的推論を用いて、ビット単位のニューラルネットワークの分類精度を高精度モデルを上回ること。
• 乗算器を不要とする確率的丸め手順の設計により、BNNの効率的なハードウェア実装を可能にすること。
• テスト時における確率的射影が、離散化された重みに対する決定的推論よりも優れた性能を発揮することを示すこと。
• LFSRベースのランダムビットストリーム生成を用いた確率的丸めの実装可能性と精度を検証すること。
• さらなる性能向上を図るため、確率的丸めを学習プロセスに統合する可能性を検討すること。

提案手法

• テスト時推論中に、次の式を用いて確率的丸めによる確率的重み射影を実装する：$ sround(w) = \lceil w \rceil $ である確率が $ p = \left| \frac{\lfloor w \rfloor - w}{\lfloor w \rfloor - \lceil w \rceil} \right| $、それ以外は $ \lfloor w \rfloor $ となる。
• 複数の確率的射影重みバージョンをサンプリングし、それらの出力を統合することでBNNアンサンブルを構築し、分類の分散を低減する。
• LFSRとDaalenモジュレータを用いて選択信号を生成するマルチプレクサを用いた、ハードウェア効率の良い確率的丸めエンジンを設計する。
• 選択信号の確率に対する解析的解を導出：$ P(sel_j=1) = \frac{2^{2^{j-1}}}{2^{2^{j-1}} + 1} $ により、正確な小数値近似が可能となる。
• すべてのマルチプレクサに同一の擬似ランダムビットストリーム生成器（PRBS）を供給することで、ハードウェアコストとエネルギー消費を削減しながらも、精度を維持する。
• ReLUと符号活性化関数、および3値重みを用いた128C3–128C3–MP2–256アーキテクチャを用いて、CIFAR-10およびGTSRBデータセットに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 確率的推論を用いた、確率的射影を施したBNNのアンサンブルサンプリングにより、高精度ベースモデルを上回る分類精度が向上するか？
• RQ2 ハードウェア効率の良い確率的丸めは、ビット単位DNNの埋め込みデプロイに実用的で十分な精度を有するか？
• RQ3 複数の確率的丸めユニットに同一のPRBSジェネレータを用いることで、性能劣化が生じないか？
• RQ4 テスト時における確率的射影は、離散化された重みに対する決定的推論を上回る性能を発揮するか？
• RQ5 提案された確率的丸め手法は解析的に導出可能であり、ハードウェア上で効率的に実装可能か？

主な発見

• 本手法は、ビット単位のネットワークを用いてCIFAR-10データセットで5.81%のテスト誤差を達成し、当時報告された最高の結果であり、6%未満であった。
• GTSRBデータセットでは、16メンバーのアンサンブルによる確率的射影BNNが、最高で1.63%のテスト誤差を達成し、高精度ベースモデルの2.19%を上回った。
• GTSRBにおける11ネットワークアンサンブルの平均誤差率は1.79%、標準偏差は0.042%であり、高い一貫性を示した。
• すべての確率的丸めユニットに同一のPRBSジェネレータを用いることで、平均分類精度が維持され、ハードウェアコストとエネルギー消費が削減された。
• 本手法による確率的丸めは、小数値をビットストリーム確率で表現する際、最大で $ \frac{1}{2^N} $ の近似誤差を達成した。
• 確率的射影を用いたアンサンブルベースの推論は、同一の離散化重みに対する決定的推論を常に上回り、分散低減の利点が裏付けられた。