[論文レビュー] BMXNet: An Open-Source Binary Neural Network Implementation Based on MXNet

Haojin Yang, Martin Fritzsche+2 more|arXiv (Cornell University)|May 27, 2017

Advanced Neural Network Applications参考文献 8被引用数 10

ひとこと要約

BMXNet は、効率的な推論および学習のための xnor および popcount 操作を用いるバイナリニューラルネットワーク (BNN) を実装するオープンソースの MXNet ベースのライブラリです。重みと活性化のバイナリゼーションにより、標準の GEMM と比較して最大 29× のモデルサイズ削減と 125× の高速化を達成し、CPU および GPU でのフルバイナリおよび量子化ネットワークの両方をサポートしています。

ABSTRACT

Binary Neural Networks (BNNs) can drastically reduce memory size and accesses by applying bit-wise operations instead of standard arithmetic operations. Therefore it could significantly improve the efficiency and lower the energy consumption at runtime, which enables the application of state-of-the-art deep learning models on low power devices. BMXNet is an open-source BNN library based on MXNet, which supports both XNOR-Networks and Quantized Neural Networks. The developed BNN layers can be seamlessly applied with other standard library components and work in both GPU and CPU mode. BMXNet is maintained and developed by the multimedia research group at Hasso Plattner Institute and released under Apache license. Extensive experiments validate the efficiency and effectiveness of our implementation. The BMXNet library, several sample projects, and a collection of pre-trained binary deep models are available for download at https://github.com/hpi-xnor

研究の動機と目的

• モバイルおよび IoT システムを含む低電力デバイスへの大規模ディープラーニングモデルのデプロイメントの課題に対処すること。
• バイナリおよび量子化された重みと活性化表現を用いて、ディープニューラルネットワークのメモリ使用量と計算コストを削減すること。
• 浮動小数点演算の代わりにビット単位の演算（xnor および popcount）を用いて、BNN の効率的な推論および学習を可能にすること。
• MXNet に対してモジュラで、ドロップインリプレース可能なフレームワークを提供し、バイナリおよび低ビット幅量子化ネットワークを柔軟なビット幅制御でサポートすること。
• 事前学習済みモデルを用いた Android および iOS アプリケーションを通じて、モバイルプラットフォームへの BNN の実用的デプロイメントを実証すること。

提案手法

• 標準の MXNet レイヤーの代替として使用可能な QActivation、QConvolution、および QFullyConnected レイヤーを導入し、'act_bit' パrameter を用いて設定可能なビット幅をサポート。
• 重みと活性化の符号ベースバイナリゼーションを採用し、1つの 32/64 ビットワードに 32/64 個のバイナリ値を格納することで、最大 32× のメモリ使用量削減を実現。
• 標準の GEMM の代わりに xnor および popcount 演算を用いた行列乗算を実行し、POPCNT 指令をサポートする CPU において計算を顕著に高速化。
• OpenMP を用いた xnor GEMM カーネル（xnor_64_omp）の最適化により、ネイティブ GEMM と比較して最大 125×、CBLAS-ATLAS と比較して 50× の高速化を達成。
• 先行研究に従い、最初および最後のレイヤーでのバイナリゼーションを回避することでハイブリッドトレーニング戦略をサポート。
• 重みと活性化の任意のビット幅量子化（2〜31 ビット）を可能にし、バイナリネットワークを越えてミックスプレシジョンモデルをサポート。

実験結果

リサーチクエスチョン

• RQ1 MXNet 上に構築された BNN フレームワークは、競争力のある分類精度を維持しながら、顕著なモデル圧縮と計算効率を達成できるか？
• RQ2 CPU における xnor ベースの GEMM は、標準 GEMM や CBLAS-ATLAS と比較して、速度とメモリ使用量の点でどのように性能を発揮するか？
• RQ3 最初および最後のレイヤーを除く特定のレイヤーでのバイナリゼーションが、モデル精度およびモデルサイズに与える影響は何か？
• RQ4 Android や iOS のようなモバイルプラットフォームに、バイナリおよび量子化ネットワークを効果的にデプロイできるか？
• RQ5 モジュラでオープンソースの BNN ライブラリを設計し、既存の MXNet コンponents とシームレスに連携させ、CPU および GPU 実行を両方サポートできるか？

主な発見

• BMXNet は、1つの 32 ビットワードに 32 個のバイナリ重みを格納することで、最大 29× のモデルサイズ削減を達成。MNIST モデルのサイズは 47MB から 1.6MB に削減された。
• xnor_64_omp カーネルは、POPCNT 指令をサポートする 4 コア CPU において、ネイティブ GEMM と比較して 125× の高速化、CBLAS-ATLAS と比較して 50× の高速化を達成。
• MNIST ではバイナリ LeNet モデルが 97.3% のテスト精度を達成し、フルプレシジョンモデルと同等の性能を示した。モデルサイズはわずか 1.6MB であった。
• CIFAR-10 ではバイナリモデルが 84.2% のテスト精度に達し、バイナリゼーションにもかかわらず強力な性能を示した。
• ImageNet における ResNet-18 を用いた完全バイナリ化モデルではトップ-1 精度が 61% に達したが、最初のステージのみをフルプレシジョンに保った部分バイナリ化バージョンでは、サイズの増加を最小限に抑えながらトップ-1 精度が 84% に向上した。
• Android および iOS 用のモバイルアプリケーションは、ライブカメラ映像を用いたバイナリ化された ResNet-18 モデルによる分類に成功し、実世界でのデプロイ可能性を確認した。