[論文レビュー] Build a Compact Binary Neural Network through Bit-level Sensitivity and Data Pruning

Yixing Li, Fengbo Ren|arXiv (Cornell University)|Feb 3, 2018

Advanced Neural Network Applications参考文献 14被引用数 5

ひとこと要約

本稿では、ビット単位の感度分析とデータプルーニングを適用することで、モデルサイズと推論遅延を削減するコンパクトバイナリニューラルネットワーク（CBNNs）を提案する。入力データの冗長なビットスライスを特定し、感度が低いビットをプルーニングすることで、最大3.9倍の小型化を達成しつつ1%未満の精度低下に抑え、ベースラインBNNと比較して実行時間を2倍短縮し、フル精度モデルと比較して9.9倍高速化した。

ABSTRACT

Convolutional neural network (CNN) has been widely used for vision-based tasks. Due to the high computational complexity and memory storage requirement, it is hard to directly deploy a full-precision CNN on embedded devices. The hardware-friendly designs are needed for re-source-limited and energy-constrained embed-ded devices. Emerging solutions are adopted for the neural network compression, e.g., bina-ry/ternary weight network, pruned network and quantized network. Among them, Binarized Neural Network (BNN) is believed to be the most hardware-friendly framework due to its small network size and low computational com-plexity. No existing work has further shrunk the size of BNN. In this work, we explore the redun-dancy in BNN and build a compact BNN (CBNN) based on the bit-level sensitivity analy-sis and bit-level data pruning. The input data is converted to a high dimensional bit-sliced for-mat. In post-training stage, we analyze the im-pact of different bit slices to the accuracy. By pruning the redundant input bit slices and shrinking the network size, we are able to build a more compact BNN. Our result shows that we can further scale down the network size of the BNN up to 3.9x with no more than 1% accuracy drop. The actual runtime can be reduced up to 2x and 9.9x compared with the baseline BNN and its full-precision counterpart, respectively.

研究の動機と目的

• リソース制限のある組み込みデバイスへの大規模ニューラルネットワークのデプロイという課題に対処すること。
• すでにハードウェアに優しいが、依然としてコンパクト性に劣るバイナリニューラルネットワーク（BNNs）のサイズと計算コストを低減すること。
• BNNにおける冗長性をビットレベルで同定し、それをさらに圧縮に活用すること。
• トレーニング後のプルーニングを用いて、モデルサイズと推論時間を大幅に削減しながら高い精度を維持すること。

提案手法

• 入力データを高次元のビットスライス形式に変換し、ビット単位の分析を可能にする。
• 各ビットスライスがネットワークの精度に与える寄与度を評価するため、ビット単位の感度分析を実施する。
• 感度スコアに基づいて冗長なビットスライスをプルーニングし、入力次元を低減する。
• 重要度が低いビットが特定された後、ネットワークプルーニングを適用してBNNアーキテクチャを縮小する。
• トレーニング後の量子化とプルーニングを用いて、精度を維持しながらモデルサイズを最小限に抑える。
• ビットレベルとデータレベルのプルーニング戦略を統合することで、最終的なネットワークを推論最適化する。

実験結果

リサーチクエスチョン

• RQ1 入力データのビットレベル表現における冗長性を、顕著な精度低下を伴わずに同定・削除できるか？
• RQ2 個々のビットスライスのプルーニングがバイナリニューラルネットワークの性能に与える影響はいかほどか？
• RQ3 ビットレベルの感度分析とデータプルーニングを用いることで、BNNはどの程度圧縮可能か？
• RQ4 コンパクトBNNにおいて、モデルサイズの削減と精度の低下のトレードオフはどの程度か？
• RQ5 得られたコンパクトBNNは、組み込みデバイス上で顕著な推論時間の高速化を達成できるか？

主な発見

• 提案手法により、BNNのネットワークサイズが最大3.9倍まで削減され、精度低下は1%未満に抑えられた。
• ベースラインBNNと比較して実行時間が最大2倍短縮され、フル精度モデルと比較して9.9倍高速化した。
• ビットレベルの感度分析により、入力データの冗長なビットスライスが効果的に同定され、有効なプルーニングが可能となった。
• コンパクトBNNは、顕著な圧縮と高速化を達成しながらも高い精度を維持した。
• 従来のBNNフレームワークを上回るモデル圧縮が可能となり、ハードウェアに優しいニューラルネットワークの限界を押し広げた。