[論文レビュー] EMQ: Evolving Training-free Proxies for Automated Mixed Precision Quantization

Peijie Dong, Lujun Li+4 more|arXiv (Cornell University)|Jul 20, 2023

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

EMQは、熟練したチューニングを必要とせずに、トレーニングフリーのプロキシを自動で発見する進化ベースのフレームワークを提案する。基本的な演算子から構成される計算グラフを進化させ、新規ベンチマーク（MQ-Bench-101）上でスピアマン順位相関を最適化することで、ImageNetモデルにおいて顕著に低い探索コストで最先端の精度を達成した。

ABSTRACT

Mixed-Precision Quantization~(MQ) can achieve a competitive accuracy-complexity trade-off for models. Conventional training-based search methods require time-consuming candidate training to search optimized per-layer bit-width configurations in MQ. Recently, some training-free approaches have presented various MQ proxies and significantly improve search efficiency. However, the correlation between these proxies and quantization accuracy is poorly understood. To address the gap, we first build the MQ-Bench-101, which involves different bit configurations and quantization results. Then, we observe that the existing training-free proxies perform weak correlations on the MQ-Bench-101. To efficiently seek superior proxies, we develop an automatic search of proxies framework for MQ via evolving algorithms. In particular, we devise an elaborate search space involving the existing proxies and perform an evolution search to discover the best correlated MQ proxy. We proposed a diversity-prompting selection strategy and compatibility screening protocol to avoid premature convergence and improve search efficiency. In this way, our Evolving proxies for Mixed-precision Quantization~(EMQ) framework allows the auto-generation of proxies without heavy tuning and expert knowledge. Extensive experiments on ImageNet with various ResNet and MobileNet families demonstrate that our EMQ obtains superior performance than state-of-the-art mixed-precision methods at a significantly reduced cost. The code will be released.

研究の動機と目的

• 混合精度量子化における既存のトレーニングフリーのプロキシと実際の量子化精度との間の相関分析の欠如に対処すること。
• 熟練知識や広範なハイパーパramータチューニングを必要とせずに、高性能なプロキシの自動発見を実現すること。
• 新しい選択およびスクリーニング戦略を導入し、進化過程での早期収束を回避することで、探索効率を向上させること。
• 多様なビット設定においてプロキシの予測能力を評価可能なベンチマーク（MQ-Bench-101）を構築すること。

提案手法

• 活性化、勾配、重み、ヘッセ行列統計量に適用される単項および二項演算子から成る計算グラフの包括的探索空間を設計すること。
• プロキシ発見を進化的最適化問題として定式化し、上位k個のビット設定の順位一貫性を重視するため、Spearman@topkをフィットネス関数として用いること。
• 進化過程における集団の多様性を維持し、早期収束を防ぐために、多様性を促進する選択戦略を導入すること。
• 無効または形状が一致しない演算子をフィルタリングするための互換性スクリーニングプロトコルを適用し、探索効率を向上させること。
• 101の多様なビット設定とポストトレーニング量子化結果を含むMQ-Bench-101ベンチマークを構築すること。
• MQ-Bench-101上で候補となる計算グラフを繰り返し選択・変異・評価する集団ベースのアルゴリズムを用いてプロキシを進化させること。

Figure 1: Illustration of the search space for EMQ. Our proposed search space encompasses the handcrafted proxies in mixed-precision quantization, whose input sources are activation(A), gradient (G), weight(W), Hessian(H), as well as their combinations (e.g., $G\times W$ ). The proposed search space

実験結果

リサーチクエスチョン

• RQ1 多様なビット設定において、既存のトレーニングフリーのプロキシは実際の量子化精度とどの程度相関しているか？
• RQ2 人為的に設計されたヒューリスティクスや広範なチューニングを一切用いずに、自動的な進化的フレームワークが優れたプロキシを発見できるか？
• RQ3 探索空間およびフィットネス関数におけるどの設計選択が、プロキシ発見の品質と効率に最も大きな影響を与えるか？
• RQ4 精度と探索コストの観点から、提案フレームワークは最先端の混合精度量子化手法と比べてどのように差をつけるか？

主な発見

• EMQはMQ-Bench-101で最高のスピアマン相関（0.6030）とピアソン相関（0.8084）を達成し、HAWQ や QE といった既存のプロキシを上回った。
• ImageNetでは、MUXNet-xsでたった0.88MBのモデルサイズで69.54％のトップ1精度を達成し、従来手法に比べて精度と複雑さのトレードオフにおいて優れた性能を示した。
• GPUを数日間使用したトレーニングを伴う手法と比較して、探索コストを顕著に低減でき、GPU日を要しない効率的なプロキシ発見が可能になった。
• EMQを用いたアーキテクチャとビット幅の共同探索により、ResNet や MobileNet、カスタムモデルを含む多様なアーキテクチャで性能が向上した。
• 多様性を促進する選択戦略と互換性スクリーニング戦略が、早期収束の防止と探索効率の向上に効果的に寄与した。
• 実証的分析により、上位の設定の順位一貫性が全体の順位一貫性よりも重要であることが確認され、Spearman@topkをフィットネス指標として用いる正当性が裏付けられた。

Figure 2: Overview of the Evolving training-free proxies for Mixed-precision Quantization (EMQ) framework. The framework involves four main steps: sampling a population of $|\mathcal{P}|$ candidate proxies from the EMQ search space using operation sampling prioritization (Step 1); generating parent