[論文レビュー] AutoQB: AutoML for Network Quantization and Binarization on Mobile Devices.

Qian Lou, Lantao Liu+2 more|arXiv (Cornell University)|Feb 15, 2019

Advanced Computing and Algorithms被引用数 12

ひとこと要約

AutoQB は、モバイル DNN のチャネルレベルの量子化およびバイナリゼーションを自動化する階層的ディープレインフォースメントラーニング（DRL）フレームワークであり、先行する DRL メソッドと比較して 79% の計算オーバーヘッド削減を達成しながら、同等またはより高い推論精度を実現する。モバイルデバイスにおけるモデル精度と計算コストを統合最適化することで、ハードウェア効率の良いデプロイメントを可能にする。

ABSTRACT

In this paper, we propose a hierarchical deep reinforcement learning (DRL)-based AutoML framework, AutoQB, to automatically explore the design space of channel-level network quantization and binarization for hardware-friendly deep learning on mobile devices. Compared to prior DDPG-based quantization techniques, on the various CNN models, AutoQB automatically achieves the same inference accuracy by $\sim79\%$ less computing overhead, or improves the inference accuracy by $\sim2\%$ with the same computing cost.

研究の動機と目的

• モバイル DNN のための効率的な量子化およびバイナリゼーションスキームを手動で設計する課題に対処すること。
• リソース制約のあるモバイルデバイスにおけるディープニューラルネットワークの高い計算コストを低減すること。
• チャネルレベルの量子化およびバイナリゼーションの複雑な設計空間の探索を自動化すること。
• モバイルハードウェア上で最小限の計算オーバーヘッドで高い推論精度を達成すること。
• 圧縮モデルのモバイルデプロイメントに特化したハードウェアフレンドリーな AutoML フレームワークを開発すること。

提案手法

• AutoQB は、チャネルレベルの量子化およびバイナリゼーションの設計空間を探索するための階層的ディープレインフォースメントラーニング（DRL）フレームワークを採用する。
• フレームワークは二段階のアクションスペースを採用しており、一つはチャネルごとの量子化ビット幅の選択、もう一つは特定のチャネルのバイナリゼーションである。
• DRL エージェントを活用して、精度と計算コストのバランスを最適化する最適な量子化ポリシーを学習する。
• この手法はハードウェアに配慮しており、メモリや計算能力といったモバイルデバイスの制約を考慮して設計されている。
• 精度と推論効率の両方を統合最適化することで、先行する DDPG に基づくアプローチを上回る性能を発揮する。
• 手動でのハイパーパramータチューニングを必要とせず、モデル圧縮のエンドツーエンド自動化を実現する。

実験結果

リサーチクエスチョン

• RQ1 階層的 DRL フレームワークは、モバイル DNN のための効率的なチャネルレベルの量子化およびバイナリゼーションポリシーを自動で発見できるか？
• RQ2 AutoQB は、先行する DDPG に基づく量子化手法と比較して、計算オーバーヘッドと精度の面でどのように異なるか？
• RQ3 AutoQB は、モバイルデバイス上でモデル精度を維持したまま、どれほど推論コストを低減できるか？
• RQ4 このフレームワークは、性能を犠牲にせずにハードウェアフレンドリーなモデル圧縮を達成できるか？

主な発見

• AutoQB は、先行する DDPG に基づく量子化技術と比較して、同じ推論精度を維持しながら計算オーバーヘッドを約 79% 削減した。
• 同一の計算コストの下で、AutoQB はさまざまな CNN モデルにおいて推論精度を約 2% 向上させた。
• フレームワークはチャネルレベルの量子化およびバイナリゼーションの探索を効果的に自動化し、手動設計の必要性を排除した。
• 階層的 DRL アプローチにより、モデル圧縮の高次元設計空間における効率的かつ効果的な探索が可能になった。
• AutoQB はさまざまな CNN アーキテクチャにわたって優れた一般化性能を示し、モデルの変動に対しても頑健であることがわかった。
• この手法はハードウェアフレンドリーなモデル圧縮を達成しており、モバイルデバイスへのデプロイメントに適している。