[論文レビュー] OMPQ: Orthogonal Mixed Precision Quantization

Yuexiao Ma, Taisong Jin+7 more|arXiv (Cornell University)|Sep 16, 2021

Advanced Neural Network Applications参考文献 39被引用数 8

ひとこと要約

OMPQは、線形計画法を用いてニューラルネットワークの層ごとの最適なビット幅を、学習された直交性メトリック（ORM）によって効率的に特定する、画期的な混合精度量子化手法を提案する。最小限の探索コストで最先端の精度を達成し、反復的探索を一切不要にした。ResNet-18ではたった6.7 MBのモデルサイズで72.08%のTop-1精度を達成した。

ABSTRACT

To bridge the ever increasing gap between deep neural networks' complexity and hardware capability, network quantization has attracted more and more research attention. The latest trend of mixed precision quantization takes advantage of hardware's multiple bit-width arithmetic operations to unleash the full potential of network quantization. However, this also results in a difficult integer programming formulation, and forces most existing approaches to use an extremely time-consuming search process even with various relaxations. Instead of solving a problem of the original integer programming, we propose to optimize a proxy metric, the concept of network orthogonality, which is highly correlated with the loss of the integer programming but also easy to optimize with linear programming. This approach reduces the search time and required data amount by orders of magnitude, with little compromise on quantization accuracy. Specifically, we achieve 72.08% Top-1 accuracy on ResNet-18 with 6.7Mb, which does not require any searching iterations. Given the high efficiency and low data dependency of our algorithm, we used it for the post-training quantization, which achieve 71.27% Top-1 accuracy on MobileNetV2 with only 1.5Mb. Our code is available at https://github.com/MAC-AutoML/OMPQ.

研究の動機と目的

• 反復的探索や緩和手法に依存する従来の混合精度量子化手法が抱える高い計算コストとデータコストを低減すること。
• モデル精度を損なわず、ビット幅設定にかかる時間とデータ要件を削減すること。
• 計算効率が良く、モデル性能と強く相関する量子化精度の代理指標を開発すること。
• 大規模データやファインチューニングに依存しない最小限の依存で、効率的な事後量子化を可能にすること。
• 量子化感知学習と事後量子化の両方の既存手法とシームレスに統合できるフレームワークを構築すること。

提案手法

• 深層ニューラルネットワークに関数の直交性を一般化することで、モンテカルロサンプリングとコーシー・シュワルツの不等式を用いて層ごとの直交性を測定する、画期的な直交性メトリック（ORM）を導入する。
• 圧縮およびハードウェア制約の下でモデルの直交性を最大化する線形計画法として、ビット幅割り当て問題を定式化する。
• 直交性計算を高速化するための、同等で計算効率の良いORMの表現形を導出する。これにより、一回のパス評価が可能になる。
• ORMと量子化精度、およびビット幅の間の強い正の相関関係を活用し、最適なビット割り当てを導く。
• 進化計算や強化学習といった高コストな探索機構に代わって、量子化感知学習と事後量子化（PTQ）の両パイプラインにOMPQを統合する。
• 精度と圧縮のトレードオフをモデル化する単調減少関数（例：$ e^{-x} $）を用い、最適化の安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの直交性に基づく代理指標が、反復的または緩和ベースの探索を効果的に置き換えることができるか？
• RQ2 提案された直交性メトリック（ORM）は、実際の量子化モデル精度およびビット幅割り当てとどの程度相関しているか？
• RQ3 HAWQ、FracBits、BRECQといった従来手法と比較して、OMPQはデータおよび計算要件をどの程度削減できるか？
• RQ4 OMPQは、最小限のデータとファインチューニングなしで、事後量子化において競争力のある性能を達成できるか？
• RQ5 ORMに基づく線形計画法によるビット割り当て定式化は、多様なアーキテクチャにおいて最適または近似最適な構成をもたらすか？

主な発見

• ResNet-18では、6.7 MBのモデルサイズと75 BOPsで72.08%のTop-1精度を達成し、反復的探索を一切行わないHAWQ-V3を1.86%上回った。
• ResNet-50では、18.7 MBと156 BOPsで76.28%のTop-1精度を達成し、同程度のモデルサイズでHAWQ-V3を0.89%上回った。
• 事後量子化において、MobileNetV2では1.5 MBのモデルサイズで71.27%のTop-1精度を達成し、同じモデルサイズ制約下でBRECQを0.52%上回った。
• OMPQは探索コストを桁違いに削減した。進化計算や強化学習ベースの手法と比較して、小さなデータセット上で一回のパス評価のみで済ませた。
• ORMメトリックは、量子化精度およびビット幅の両方と強い正の相関関係を示し、最適化のための信頼できる代理指標であることが裏付けられた。
• OMPQの効率性のおかげで、データが限られた環境でも運用可能であり、データアクセスが制限される実用的応用に適している。