[論文レビュー] Heterogeneous Bitwidth Binarization in Convolutional Neural Networks

Josh Fromm, Shwetak Patel+1 more|arXiv (Cornell University)|May 25, 2018

Neural Networks and Applications参考文献 13被引用数 15

ひとこと要約

本論文では、畳み込みニューラルネットワーク（CNN）内の個々のパラメータが異なるビット幅（例：1-, 2-, 3ビット）を持つことができる非均質ビット幅ニューラルネットワーク（HBNNs）を提案する。これにより、平均ビット幅を分数にできる。トレーニング中に「ミドルアウト」戦略を用いたビット幅選択を行うことで、HBNNsは均一な2ビットネットワークと同等の精度を達成しながら、平均ビット幅をわずか1.4ビットにまで低減し、FPGAおよびASICハードウェア上でエネルギー効率と面積の両面で顕著な向上を実現する。

ABSTRACT

Recent work has shown that fast, compact low-bitwidth neural networks can be surprisingly accurate. These networks use homogeneous binarization: all parameters in each layer or (more commonly) the whole model have the same low bitwidth (e.g., 2 bits). However, modern hardware allows efficient designs where each arithmetic instruction can have a custom bitwidth, motivating heterogeneous binarization, where every parameter in the network may have a different bitwidth. In this paper, we show that it is feasible and useful to select bitwidths at the parameter granularity during training. For instance a heterogeneously quantized version of modern networks such as AlexNet and MobileNet, with the right mix of 1-, 2- and 3-bit parameters that average to just 1.4 bits can equal the accuracy of homogeneous 2-bit versions of these networks. Further, we provide analyses to show that the heterogeneously binarized systems yield FPGA- and ASIC-based implementations that are correspondingly more efficient in both circuit area and energy efficiency than their homogeneous counterparts.

研究の動機と目的

• すべてのパラメータが同じ低ビット幅を使用する均一なバイナリゼーションの非効率性に対処する。現代のハードウェアはパラメータごとに異なるビット幅をサポートしているにもかかわらず、その利点を活かせていない。
• トレーニング中に個々のパラメータに異なるビット幅を割り当てることで、バイナリゼートされたCNNにおける精度・圧縮・消費電力のトレードオフを改善できるかどうかを検討する。
• 目標とする平均ビット幅を達成しながら高いモデル精度を維持できるように、パラメータごとの最適なビット幅選択を可能にする実用的なトレーニング手法を開発する。
• 非均質なビット幅設計が、均一な設計と比較してFPGAおよびASIC実装においてより効率的であることを実証する。

提案手法

• 各ネットワークパラメータが独立したビット幅を持つことを許容する非均質ビット幅ニューラルネットワーク（HBNNs）を導入し、分数の平均ビット幅を実現する。
• グリーディな「ミドルアウト」ビット幅選択アルゴリズムを用いて、最新の均一なバイナリゼーショントレーニングフレームワークを拡張し、バックプロパゲーション中にビット幅を割り当てる。
• 勾配の流れを維持するため、ストレートスルー推定器を用いる。トレーニング中は浮動小数点重みを維持し、割り当てられたビット幅にパラメータをバイナリゼートする。
• 平均ビット幅を最小化しつつ精度を保持できる最適なビット幅分布を特定するため、ハイパーパramーターサーチを実施する。
• 最近のFPGAおよびASIC実装を用いてハードウェア効率を推定し、パラメータごとの総計算ユニットに基づいて回路面積と消費電力をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 CNNの個々のパラメータに可変ビット幅を割り当てることで、均一なバイナリゼーションと比較して、精度・圧縮・消費電力のトレードオフを改善できるか？
• RQ2 標準的なディープラーニングフレームワークおよび最適化手法を用いて、パラメータごとに非均質なビット幅を持つCNNをトレーニングすることは可能か？
• RQ3 例えば1.4ビットのような分数の平均ビット幅が、2ビットの均一なモデルと同等の精度を達成しながら、ハードウェアリソースの使用を削減できるか？
• RQ4 FPGAおよびASICプラットフォームにおいて、非均質なビット幅設計は均一な設計と比較して、面積および消費電力の両面で効率的か？

主な発見

• HBNNsは、MobileNetを用いてImageNetで89.4％のトップ-1精度を達成し、平均ビット幅はわずか1.4ビットにまで低減した。これは均一な2ビットモデルと同等の精度である。
• VGG-8では、1.4平均ビットの非均質バイナリゼーションがZC706 FPGA上で89.4％の精度を達成し、2ビット均一バージョンと比較して28％のLUT使用量を削減した。
• HBNNsのASIC実装では、2ビット均一設計と比較して、チップ面積が50％（297 mm²から145.5 mm²）削減され、消費電力も51％（18.62 mWから9.1 mW）削減された。MobileNetでは64.7％の精度を維持した。
• 「ミドルアウト」ビット幅選択戦略は、複数のモデルとデータセットにおいて、精度を保持しつつビット幅を最小化する点で、他のグリーディ手法を上回った。
• 非均質なビット幅は、精度・リソース使用量・消費電力のトレードオフを細かく調整可能にし、設計者がターゲットハードウェア制約に応じてスループットを最大化したり、面積を最小化したりできる。