[論文レビュー] A streamlined AlexNet with 1-bit weights, 2-bit activations

Yaman Umuroglu|arXiv (Cornell University)|Sep 1, 2017

Advanced Neural Network Applications参考文献 7被引用数 27

ひとこと要約

本稿では、浮動小数点演算を整数演算に置き換え、ビット逐次行列乗算を用い、チャネルインタリーブド低下処理を適用することで、モバイルCPU上での量子化ニューラルネットワーク（QNN）の簡素化されたデプロイフレームワークを提示する。1ビット重みと2ビット活性化を有する量子化AlexNetにおいて、最適化された8ビットベースラインに対して3.5倍の高速化を達成している。

ABSTRACT

Running Deep Neural Network (DNN) models on devices with limited computational capability is a challenge due to large compute and memory requirements. Quantized Neural Networks (QNNs) have emerged as a potential solution to this problem, promising to offer most of the DNN accuracy benefits with much lower computational cost. However, harvesting these benefits on existing mobile CPUs is a challenge since operations on highly quantized datatypes are not natively supported in most instruction set architectures (ISAs). In this work, we first describe a streamlining flow to convert all QNN inference operations to integer ones. Afterwards, we provide techniques based on processing one bit position at a time (bit-serial) to show how QNNs can be efficiently deployed using common bitwise operations. We demonstrate the potential of QNNs on mobile CPUs with microbenchmarks and on a quantized AlexNet, which is 3.5x faster than an optimized 8-bit baseline. Our bit-serial matrix multiplication library is available on GitHub at https://git.io/vhshn

研究の動機と目的

• 少数ビット整数演算のサポートが限られているモバイルCPU上で、低精度の量子化ニューラルネットワーク（QNN）を効率的にデプロイする課題に対処すること。
• 命令セットアーキテクチャ（ISA）に1〜4ビット整数演算のネイティブサポートがなく、浮動小数点演算、非効率なビットマスク、およびその他の要因によって引き起こされる性能ボトルネックを克服すること。
• 最小限の精度損失でQNNを完全に整数ベースの計算に変換することで、モバイルデバイス上での高性能な推論を可能にすること。
• AlexNetのような実世界のモデルにおいて、最適化されたビット逐次およびインタリーブド低下技術を用いて顕著な高速化を実証すること。

提案手法

• バッチ正規化やアルファスケーリング由来の浮動小数点スケーリング要因を整数しきい値に統合することで、QNNを簡素化し、推論中に浮動小数点演算を完全に排除する。
• 1ビット重みと2ビット活性化を効率的に処理するために、ビット単位で1平面ずつ処理するビット逐次GEMM（一般行列乗算）ライブラリを実装し、論理演算（AND、シフト、OR）を用いる。
• 複数のチャネルを1ワードにパックするチャネルインタリーブド低下処理を適用することで、ビットパッケージングのオーバーヘッドを低減し、データ局所性とメモリアクセスパターンを改善する。
• 最適化された推論エンジンをCaffeベースのフレームワークに統合し、各レイヤーでgemmlowp（8ビットレイヤー用）とBitSerialGEMM（1ビット/2ビットレイヤー用）を条件付きで使用可能にする。
• ハイブリッド実行戦略を採用：8ビットレイヤーは精度を保つためにgemmlowpを使用し、1ビット/2ビットレイヤーは速度を求めてBitSerialGEMMを使用する。浮動小数点演算は行列乗算以外の操作でのみ使用する。
• ビット平面の再順序とパッケージングを最適化することで、並列性を最大化し、ビットレベルのマスクコストを低減する。

実験結果

リサーチクエスチョン

• RQ1 しきい値ベースの簡素化により、QNNにおける浮動小数点演算を完全に排除できるか、精度損失は顕著でないか？
• RQ2 コンsumer向けモバイルCPU上で、論理演算のみを用いたビット逐次行列乗算が、1ビット重みと2ビット活性化に対してどれほど効果的か？
• RQ3 チャネルインタリーブド低下処理は、ビットパッケージングのオーバーヘッドをどれほど低減し、低精度推論におけるパフォーマンスを向上させるか？
• RQ4 提案された最適化スタックを用いて1ビット/2ビットQNNをデプロイした場合、AlexNetのような実世界のモデルでどの程度のパフォーマンス向上が達成できるか？
• RQ5 簡素化、ビット逐次GEMM、およびインタリーブド低下処理の組み合わせが、モバイルCPU上での標準的な8ビット推論を上回るか？

主な発見

• 提案されたBitSerialGEMMライブラリは、1ビット重みと2ビット活性化を有する量子化AlexNetにおいて、最適化された8ビットベースラインに対して3.5倍の高速化を達成した。
• 完全に量子化された1ビット/2ビット全結合レイヤーは、高い算術強度と効率的なビット逐次計算のおかげで最大50倍の高速化を達成した。
• 畳み込みレイヤーにおけるビット逐次行列乗算は、8ビットベースライン推論と比較して4倍の高速化を達成したが、低下処理のオーバーヘッドが性能を制限していた。
• チャネルインタリーブド低下処理は、標準的な低下処理と比較して低下時間の10倍の短縮を実現し、大きなフィルタを有する初期レイヤーでのパフォーマンス向上に顕著に寄与した。
• 最適化パイプラインにおいて8ビットの最初と最後のレイヤーが実行時間の33％を占めており、これらのレイヤーのさらなる量子化によってさらなる高速化が得られると示唆された。
• 全最適化スタックを適用した結果、推論スループットはベースラインの2.2フレーム/秒から7.7フレーム/秒にまで向上し、実世界のパフォーマンス向上が明確に示された。