[論文レビュー] HAQ: Hardware-Aware Automated Quantization with Mixed Precision

Kuan Wang, Zhijian Liu+3 more|arXiv (Cornell University)|Nov 21, 2018

Advanced Neural Network Applications参考文献 29被引用数 49

ひとこと要約

HAQはハードウェアをループに組み込んだ強化学習を用いて、各層ごとに混合精度のビット幅を自動的に割り当て、エッジおよびクラウドの加速器全体で遅延・エネルギー・モデルサイズを最適化します。これにより、ハードウェアに特化した量子化方針が得られ、精度低下は最小になります。

ABSTRACT

Model quantization is a widely used technique to compress and accelerate deep neural network (DNN) inference. Emergent DNN hardware accelerators begin to support mixed precision (1-8 bits) to further improve the computation efficiency, which raises a great challenge to find the optimal bitwidth for each layer: it requires domain experts to explore the vast design space trading off among accuracy, latency, energy, and model size, which is both time-consuming and sub-optimal. Conventional quantization algorithm ignores the different hardware architectures and quantizes all the layers in a uniform way. In this paper, we introduce the Hardware-Aware Automated Quantization (HAQ) framework which leverages the reinforcement learning to automatically determine the quantization policy, and we take the hardware accelerator's feedback in the design loop. Rather than relying on proxy signals such as FLOPs and model size, we employ a hardware simulator to generate direct feedback signals (latency and energy) to the RL agent. Compared with conventional methods, our framework is fully automated and can specialize the quantization policy for different neural network architectures and hardware architectures. Our framework effectively reduced the latency by 1.4-1.95x and the energy consumption by 1.9x with negligible loss of accuracy compared with the fixed bitwidth (8 bits) quantization. Our framework reveals that the optimal policies on different hardware architectures (i.e., edge and cloud architectures) under different resource constraints (i.e., latency, energy and model size) are drastically different. We interpreted the implication of different quantization policies, which offer insights for both neural network architecture design and hardware architecture design.

研究の動機と目的

• 人間のヒューリスティクスを使わず、層ごとの混合精度量子化ポリシーの探索を自動化する。
• 実際のハードウェア指標を最適化ループに直接組み込み、ハードウェアのフィードバックを反映させる。
• 多様なハードウェアアーキテクチャ（エッジ対クラウド）間で量子化ポリシーの特化を実証する。
• 異なるハードウェア特性が最適な量子化戦略をどう形成するかについて洞察を提供する。

提案手法

• DDPGエージェントを用いて量子化を強化学習問題として定式化する。
• 層ごとの連続アクション空間を用いて各層のビット幅を選択し、{2,4,6,8}ビットに離散化する。
• ハードウェアアクセラレータから直接の遅延とエネルギーのフィードバックを、ポリシー最適化の制約として収集する。
• 重み/活性化を、層ごとのビット幅を用いた線形量子化と、重みに対するKLダイバージェンスベースのクリッピングで量子化する。
• 量子化モデルを1エポック再訓練し、検証精度をRL報酬として用いる（スケーリングあり）。
• 複数のハードウェア設定（エッジ/クラウド、空間的/時間的アーキテクチャ）を横断してポリシーを探索し、特化した戦略を学習する。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアを意識した強化学習は、異なるハードウェアアーキテクチャに対して層ごとの最適なビット幅を自動的に発見できるか？
• RQ2 特定のハードウェアに量子化ポリシーを特化させることで、遅延・エネルギーの顕著な改善と、ほとんどない精度低下を得られるか？
• RQ3 リソース制約（遅延、エネルギー、モデルサイズ）は、層間で学習されるビット幅割り当てにどう影響するか？
• RQ4 エッジ対クラウドおよび異なるアクセラレータ設計における学習ポリシーから、ニューラルネットワークとハードウェア設計に関するどんな洞察が得られるか？

主な発見

• 固定8ビット量子化と比較して、HAQは遅延を1.4×〜1.95×、エネルギーを約1.9×削減し、精度の損失はほとんどない。
• 最適な量子化ポリシーは、ハードウェアアーキテクチャ（エッジ対クラウド、BISMO対BitFusion）によって大きく異なり、ハードウェア固有の最適化の必要性を示している。
• Depthwiseとpointwise層は、遅延・エネルギー・モデルサイズの最適化のいずれを目指すかに応じて、ビット幅割り当てが異なり、メモリと計算のボトルネックを反映している。
• ルールベースのベースライン（例：PACT、Deep Compression）と比較して、HAQは様々な制約下で、同等または小さなモデルサイズでより高い精度を達成する。
• 学習されたポリシーはroofline-modelの推論と整合し、ターゲットハードウェアのメモリ帯域幅と計算容量に異なる層戦略を帰属させている。