[論文レビュー] HAQ: Hardware-Aware Automated Quantization

Kuan Wang, Zhijian Liu+3 more|arXiv (Cornell University)|Nov 21, 2018

Advanced Neural Network Applications参考文献 22被引用数 58

ひとこと要約

HAQは、ハードウェアシミュレータを介してリアルタイムのハードウェアフィードバック（遅延およびエネルギー）を統合することで、DNNの最適なミックスドプレシジョン量子化ポリシーを自動的に決定する強化学習ベースのフレームワークを提案する。8ビット量子化と比較して、最小限の精度損失で1.4–1.95倍の遅延削減と1.9倍のエネルギー節約を達成し、エッジとクラウドのハードウェアアーキテクチャにおいて顕著に異なる最適ポリシーを明らかにした。

ABSTRACT

Model quantization is a widely used technique to compress and accelerate deep neural network (DNN) inference. Emergent DNN hardware accelerators begin to support mixed precision (1-8 bits) to further improve the computation efficiency, which raises a great challenge to find the optimal bitwidth for each layer: it requires domain experts to explore the vast design space trading off among accuracy, latency, energy, and model size, which is both time-consuming and sub-optimal. Conventional quantization algorithm ignores the different hardware architectures and quantizes all the layers in a uniform way. In this paper, we introduce the Hardware-Aware Automated Quantization (HAQ) framework which leverages the reinforcement learning to automatically determine the quantization policy, and we take the hardware accelerator's feedback in the design loop. Rather than relying on proxy signals such as FLOPs and model size, we employ a hardware simulator to generate direct feedback signals (latency and energy) to the RL agent. Compared with conventional methods, our framework is fully automated and can specialize the quantization policy for different neural network architectures and hardware architectures. Our framework effectively reduced the latency by 1.4-1.95x and the energy consumption by 1.9x with negligible loss of accuracy compared with the fixed bitwidth (8 bits) quantization. Our framework reveals that the optimal policies on different hardware architectures (i.e., edge and cloud architectures) under different resource constraints (i.e., latency, energy and model size) are drastically different. We interpreted the implication of different quantization policies, which offer insights for both neural network architecture design and hardware architecture design.

研究の動機と目的

• 多様なハードウェアアクセラレータにまたがるミックスドプレシジョン量子化の膨大な設計空間を手動で探索する課題に対処すること。
• 均一なビット幅を適用する従来の量子化手法の限界を克服し、ハードウェア固有のパフォーマンス特性を無視しないこと。
• 遅延、エネルギー効率、モデルサイズ、精度を同時に最適化する、自動的かつハードウェア特化された量子化ポリシーを可能にすること。
• エッジとクラウドのハードウェアアーキテクチャの違いが、リソース制約の下で根本的に異なる量子化戦略を必要とすることを明らかにすること。

提案手法

• DNNの各レイヤーに対して、1–8ビットの最適なビット幅を強化学習エージェントで探索する。
• 強化学習のループにハードウェアシミュレータを統合し、FLOPsなどの代理指標に代わって、遅延およびエネルギー消費量の直接フィードバックを提供する。
• モデル精度、遅延、エネルギー効率、モデルサイズのバランスを取る報酬関数を用いて、強化学習エージェントを訓練する。
• 報酬関数に基づいて、ハードウェアフィードバックに最適化された量子化ポリシーを最適化するため、ポリシー勾配法（例：REINFORCE や PPO）を用いる。
• 量子化ポリシーとターゲットハードウェアアクセラレータを共同設計することで、エンドツーエンドの自動化を実現する。
• 多様なモデルで学習することで、異なるニューラルネットワークアーキテクチャ間で学習済みポリシーの転送性を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習によるハードウェアに配慮した量子化は、固定精度量子化と比較して、推論効率をどのように向上させるか？
• RQ2 リソース制約が異なる条件下で、エッジとクラウドのハードウェアアーキテクチャにおける最適量子化ポリシーの違いは何か？
• RQ3 シミュレータからのハードウェアフィードバックは、FLOPsなどの代理指標に代わって、量子化意思決定をどのように効果的に導くことができるか？
• RQ4 提案されたフレームワークは、遅延とエネルギー消費量を削減しながら、高いモデル精度をどのように維持するか？

主な発見

• HAQは、複数のモデルとハードウェアプラットフォームにおいて、8ビット固定精度量子化と比較して、推論遅延を1.4倍から1.95倍まで削減した。
• エネルギー消費量は平均で1.9倍削減され、顕著な効率向上が確認されたが、精度の著しい低下は見られなかった。
• 最適な量子化ポリシーはエッジとクラウドのハードウェア間で著しく異なり、一様な量子化戦略は非効率であることが示された。
• シミュレータからのハードウェア固有のフィードバックにより、代理指標に基づくものよりも効率的なビット幅割り当てが強化学習エージェントによって発見された。
• フレームワークは、ミックスドプレシジョンポリシーがターゲットハードウェアの特性に極めて敏感であることを明らかにし、ハードウェアとニューラルアーキテクチャの共同設計に役立つインサイトを提供した。
• 完全精度モデルとほぼ同等の精度を達成しながら、モデルサイズと計算コストを顕著に削減した。