[論文レビュー] Two-Bit Networks for Deep Learning on Resource-Constrained Embedded Devices

Wenjia Meng, Zonghua Gu+2 more|arXiv (Cornell University)|Jan 2, 2017

Advanced Neural Network Applications参考文献 6被引用数 29

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）の重みを4つの離散値（−2, −1, 1, 2）に制限するモデル圧縮技術、Two-Bit Networks（TBNs）を提案する。これにより、2ビット符号化が効率的に行える。勾配ベースの最適化とスケーリング要因を用いた微分可能訓練アルゴリズムにより、TBNsはメモリと計算コストを削減しながらも、高い精度（ImageNetでトップ1正解率62.6%、トップ5正解率84.5%）を達成し、従来のバイナリおよびトレナリ重み手法を上回る性能を発揮する。

ABSTRACT

With the rapid proliferation of Internet of Things and intelligent edge devices, there is an increasing need for implementing machine learning algorithms, including deep learning, on resource-constrained mobile embedded devices with limited memory and computation power. Typical large Convolutional Neural Networks (CNNs) need large amounts of memory and computational power, and cannot be deployed on embedded devices efficiently. We present Two-Bit Networks (TBNs) for model compression of CNNs with edge weights constrained to (-2, -1, 1, 2), which can be encoded with two bits. Our approach can reduce the memory usage and improve computational efficiency significantly while achieving good performance in terms of classification accuracy, thus representing a reasonable tradeoff between model size and performance.

研究の動機と目的

• メモリと計算能力に制限のあるリソース制約のある組み込みデバイスに、大規模で高精度なCNNをデプロイする課題に対処すること。
• 従来のバイナリまたはトレナリ重み手法と比較して、2ビット重み表現をより効果的に活用することで、モデル圧縮の効率を向上させること。
• 深刻な重み量子化に対しても高い分類精度を維持することで、エッジデバイスへの実用的デプロイを可能にすること。
• 2ビット重みとスケーリング要因のエンドツーエンド最適化を可能にする微分可能な訓練手順を開発すること。

提案手法

• 実数値の畳み込みフィルタを4つの離散値（−2, −1, 1, 2）に量子化し、それぞれ2ビットで表現可能とする。
• 各フィルタWをα·W̃として近似する。ここでW̃は2ビット量子化されたフィルタであり、α > 0は学習可能なスケーリング要因である。
• L2量子化誤差∥W − αW̃∥²₂を最小化するための2段階最適化を実施：まず重みを4つの値に離散化し、次に各フィルタに対して最適なαを計算する。
• 前方伝搬と逆伝搬で量子化されたフィルタ（W̃とα）を使用する確率的勾配降下法（SGD）の訓練アルゴリズムを採用するが、実数値の重みは勾配を用いて更新する。
• 決定論的量子化を適用：各重みはその絶対値に基づき、{−2, −1, 1, 2}のうち最も近い値にマッピングされる。
• 推論時には、2ビット重みと学習済みのスケーリング要因のみを用いる。これにより、加算、減算、ビットシフトを用いた効率的な計算が可能になる。

実験結果

リサーチクエスチョン

• RQ1 4つの離散値（−2, −1, 1, 2）を用いた2ビット重み表現は、ImageNetのような大規模データセットにおいて、従来のバイナリまたはトレナリ重み手法よりも優れた性能を発揮できるか？
• RQ2 学習可能なスケーリング要因αの使用は、固定量子化と比較して、2ビット量子化されたネットワークの精度をどのように向上させるか？
• RQ3 量子化された重みに対する勾配ベース最適化を用いた提案された訓練アルゴリズムは、深刻な重み量子化に対しても高いモデル容量を維持できるか？
• RQ4 Two-Bit Networksは、実世界のベンチマークにおいて、最先端の重み圧縮技術と比較して、モデルサイズと精度のより優れたトレードオフを達成できるか？

主な発見

• Two-Bit NetworksはImageNet検証セットでトップ1正解率62.6%、トップ5正解率84.5%を達成し、Binary Weight Networks、XNOR-Net、Ternary Weight Networksを上回る性能を発揮する。
• メモリ使用量が顕著に削減される：ResNet-18では、FP32の104 MBから2ビットの26 MBにまで低下し、4倍の削減が達成される。
• トレナリネットワークの3値（−1, 0, 1）ではなく4値（−2, −1, 1, 2）を用いることで、モデル容量が向上し、性能が改善される。
• 提案された訓練アルゴリズムにより、深刻な重み量子化に対しても安定した収束と高い精度のモデルが実現される。
• 加算、減算、ビットシフトを用いた算術演算により、計算効率が向上し、組み込みシステム上でハードウェアフレンドリーで高速な処理が可能になる。
• この手法は一般化可能であり、CNNに限らずRNNを含む他の深層ニューラルネットワークへの応用も可能である。