[論文レビュー] MQBench: Towards Reproducible and Deployable Model Quantization Benchmark

Yuhang Li, Mingzhu Shen+7 more|arXiv (Cornell University)|Nov 5, 2021

Advanced Neural Network Applications被引用数 23

ひとこと要約

MQBenchは、モデル量子化の再現性とデプロイメント可能性を統一的に評価するベンチマークを導入し、5つの実際のハードウェアプラットフォーム（CPU、GPU、ASIC、DSP）でトレーニングパイプラインを統一して、最先端の量子化アルゴリズムを評価する。その結果、一貫したトレーニング下ではアルゴリズムの性能が類似しているものの、ハードウェアにデプロイ可能な設定では顕著な精度のギャップが残っており、どのアルゴリズムもすべての課題で優位に立つことはないことが判明。これは、量子化研究分野における再現性とデプロイメント可能性の重大なギャップを示している。

ABSTRACT

Model quantization has emerged as an indispensable technique to accelerate deep learning inference. While researchers continue to push the frontier of quantization algorithms, existing quantization work is often unreproducible and undeployable. This is because researchers do not choose consistent training pipelines and ignore the requirements for hardware deployments. In this work, we propose Model Quantization Benchmark (MQBench), a first attempt to evaluate, analyze, and benchmark the reproducibility and deployability for model quantization algorithms. We choose multiple different platforms for real-world deployments, including CPU, GPU, ASIC, DSP, and evaluate extensive state-of-the-art quantization algorithms under a unified training pipeline. MQBench acts like a bridge to connect the algorithm and the hardware. We conduct a comprehensive analysis and find considerable intuitive or counter-intuitive insights. By aligning the training settings, we find existing algorithms have about the same performance on the conventional academic track. While for the hardware-deployable quantization, there is a huge accuracy gap which remains unsettled. Surprisingly, no existing algorithm wins every challenge in MQBench, and we hope this work could inspire future research directions.

研究の動機と目的

• 不一致なトレーニングパイプラインとハードウェア固有の仮定による、モデル量子化研究における再現性とデプロイメント可能性の欠如に対処すること。
• 標準化されたトレーニング設定と実際のハードウェアデプロイメント制約の下で量子化アルゴリズムを評価する統一されたベンチマークフレームワークを確立すること。
• 学術的パフォーマンスと実世界のハードウェアデプロイメント結果との間の乖離を特定・分析すること。
• BNフォールディング、グラフレベルの量子化、パラメータ共有といったハードウェアに配慮した量子化実践を組み込むことで、アルゴリズム研究と実用的デプロイメントのギャップを埋めること。
• 再現性とデプロイメント可能性に優れたベンチマークにおいて、いかなる既存のアルゴリズムも一貫して他を上回ることのない事実を暴露することで、今後の研究を刺激すること。

提案手法

• MQBenchは、すべての評価対象量子化アルゴリズムにおいて、トレーニングハイパーパrameter、最適化手法設定、データオーグメンテーションを標準化し、再現性を確保する。
• ImageNet上で、QAT、PTQ、PACT、DoReFa-Net、LSQ、APoT、QILといった複数の量子化技術を、同一のトレーニングパイプラインで評価する。
• バッチ正規化フォールディング、完全なグラフ量子化、連結演算における共有量子化パラメータといったハードウェアに配慮した変更をベンチマークに組み込む。
• 対称範囲および非対称範囲を用いたテンソル単位およびチャネル単位の量子化を実装し、ハードウェア互換性を高めるために活性化範囲（例：[0,1] から [-1,1] に）を調整する。
• CPU、GPU、ASIC、DSPの5つのデプロイメントプラットフォームをサポートし、実際の推論条件を反映するための完全なグラフレベルの量子化を実装する。
• QILのような不安定な手法については、収束を改善するために勾配スケーリングを調整し、複数のハードウェア環境で結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングパイプラインを標準化することで、最先端の量子化アルゴリズムのパフォーマンス比較にどのような影響が生じるか？
• RQ2 学術的量子化結果と実際のハードウェアデプロイメント結果との間には、どの程度のパフォーマンスギャップが存在するか？
• RQ3 統一されたトレーニング下では類似したパフォーマンスを示すにもかかわらず、なぜ既存の量子化アルゴリズムは異なるハードウェアプラットフォームで一貫した精度を維持できないのか？
• RQ4 BNフォールディングやグラフレベルの量子化といったハードウェア固有の最適化は、量子化モデルの最終的な精度にどのように影響するか？
• RQ5 再現性とデプロイメント可能性に優れたベンチマークにおいて、どの量子化アルゴリズムも他のすべてのベンチマークで一貫して優れているか？

主な発見

• 統一されたトレーニング設定下では、既存の量子化アルゴリズムは標準的な学術的ベンチマークで類似したパフォーマンスを達成しており、パフォーマンスの差は主にトレーニングパイプラインの違いに起因し、アルゴリズムの優位性によるものではないことが示された。
• ハードウェアにデプロイ可能な設定では顕著な精度ギャップが残っており、どのアルゴリズムもすべてのプラットフォームで一貫して優れているとは限らない。これは、デプロイメント可能性に関する未解決の課題を示している。
• 非対称範囲を用いたチャネル単位の量子化と適切なクリッピング（例：[-1,1]）の適用は、ナイーブな実装に比べてハードウェアプラットフォームでのパフォーマンスを顕著に向上させる。
• テンソル単位の量子化を想定したアルゴリズムは、チャネル単位の設定に適用した場合にしばしば失敗するため、量子化器の多様性に耐性を持つ必要があることが浮き彫りになった。
• QIL手法は再現性の試行において不安定であり、勾配スケーリングの調整後でさえも標準的なトレーニング設定下で収束しなかった。これは、そのトレーニングダイナミクスに潜在的な問題がある可能性を示唆している。
• BNフォールディングや連結演算における共有量子化パラメータといったハードウェア固有の最適化は、精度を維持するために極めて重要であり、ベンチマークに組み込むべきである。