[論文レビュー] 2-bit Model Compression of Deep Convolutional Neural Network on ASIC Engine for Image Retrieval

Bin Yang, Lin F. Yang+6 more|arXiv (Cornell University)|May 8, 2019

Advanced Image and Video Retrieval Techniques参考文献 12被引用数 5

ひとこと要約

この論文は、ASICエージェント上でVGG-16 CNNに2ビット量子化方式を提案し、最小限のメモリと消費電力で効率的な画像検索を可能にする。層間でハイブリッドビット量子化を組み合わせ、新規のリージョンネストインヴァリアンスプーリング（RNIP）戦略を採用することで、224x224バッファ内で640x480画像の浮動小数点レベルの性能を達成し、モデルサイズを59MBから4MBに削減しながら86.94%のmAPを維持した。

ABSTRACT

Image retrieval utilizes image descriptors to retrieve the most similar images to a given query image. Convolutional neural network (CNN) is becoming the dominant approach to extract image descriptors for image retrieval. For low-power hardware implementation of image retrieval, the drawback of CNN-based feature descriptor is that it requires hundreds of megabytes of storage. To address this problem, this paper applies deep model quantization and compression to CNN in ASIC chip for image retrieval. It is demonstrated that the CNN-based features descriptor can be extracted using as few as 2-bit weights quantization to deliver a similar performance as floating-point model for image retrieval. In addition, to implement CNN in ASIC, especially for large scale images, the limited buffer size of chips should be considered. To retrieve large scale images, we propose an improved pooling strategy, region nested invariance pooling (RNIP), which uses cropped sub-images for CNN. Testing results on chip show that integrating RNIP with the proposed 2-bit CNN model compression approach is capable of retrieving large scale images.

研究の動機と目的

• ASICチップ上でCNNベースの画像検索を低消費電力・低メモリで実装すること。
• 検索精度を損なわず、CNNモデルのストレージおよび計算コストを低減すること。
• 大規模な画像を処理する際のオンチップバッファサイズの制限に取り組むこと。
• 2ビット量子化モデルと互換性を持つプーリング戦略を開発し、大規模な画像検索を効率的に行うこと。

提案手法

• ハイブリッドビット量子化を適用：バイアスには12ビット固定小数点、フィルタごとに8ビットスカラー、3x3畳み込みフィルタには1〜5ビットの量子化マスクを採用。
• 重みの動的範囲を保持するため、層ごとの4ビット指数を用い、効果的な2ビット量子化を実現。
• 精度損失を最小限に抑えるために、バックプロパゲーションを用いた微調整アルゴリズムを採用。
• リージョンネストインヴァリアンスプーリング（RNIP）を提案。これは、複数のクロップドサブ画像をCNNの入力とし、特徴マップからのROIを連結してプーリングを行う戦略。
• 2ビット量子化CNNとRNIPを統合し、224x224バッファ内で640x480画像の処理を可能に。
• NIPおよびRNIPで平方根、平均、最大プーリングのチェーンを用い、512次元の記述子を生成。

実験結果

リサーチクエスチョン

• RQ1 ASIC上で2ビット量子化CNNが、フル精度の浮動小数点モデルと同等の画像検索性能を達成できるか？
• RQ2 CNNベースの検索において、大規模な画像を処理する際の制限されたオンチップバッファサイズをどのように克服できるか？
• RQ3 RNIPのような新規プーリング戦略は、ハードウェア制約下で大規模画像の特徴抽出の効率性と精度を向上させられるか？
• RQ4 ハードウェア最適化CNNにおいて、モデル圧縮（ビット精度）と検索性能のトレードオフは何か？

主な発見

• 2ビット量子化VGG-16モデルは、640x480画像のINRIA Holidaysデータセットで86.94%のmAPを達成し、浮動小数点モデルの86.81%と同等の性能を示した。
• モデルサイズは、浮動小数点の59MBから2ビット固定小数点の4MBに削減され、15.1倍の圧縮比を達成した。
• 14枚のクロップドサブ画像を用いたRNIPは、512バイトの記述子でmAPを0.852まで向上させ、標準NIPを上回った。
• バイナリゼーションされた記述子（512ビット）は、512バイト記述子と比較して0.03のmAP低下を示し、1ビット精度でのわずかな性能のトレードオフが確認された。
• 2ビット量子化モデルは、ImageNet ILSVRC-2012でトップ1正答率70.13%、トップ5正答率89.91%を維持しており、分類タスクにおける堅牢性が確認された。
• RNIPを用いることで、2ビットモデルは224x224バッファ内で640x480画像を、フル640x480入力と同等の性能で処理可能であることが実証され、大規模画像検索の実現可能性が裏付けられた。