[論文レビュー] Mixed-Precision Neural Network Quantization via Learned Layer-wise Importance

Chen Tang, Kai Ouyang+5 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

本稿では、量子化器のスケール因子を用いた学習可能で階層別に重み付けされた重要度機構を提案し、整数線形計画法（ILP）を用いた1回限りの高速混合精度量子化（MPQ）を実現する。量子化に適応した学習中にこれらのスケール因子をエンド・ツー・エンドで訓練することで、層ごとの量子化感度を捉え、ResNet18ではMPQ探索時間を0.06秒まで短縮。反復的手法に比べ指数関数的に高速であり、さまざまな制約下でもImageNetで最先端の精度を達成する。

ABSTRACT

The exponentially large discrete search space in mixed-precision quantization (MPQ) makes it hard to determine the optimal bit-width for each layer. Previous works usually resort to iterative search methods on the training set, which consume hundreds or even thousands of GPU-hours. In this study, we reveal that some unique learnable parameters in quantization, namely the scale factors in the quantizer, can serve as importance indicators of a layer, reflecting the contribution of that layer to the final accuracy at certain bit-widths. These importance indicators naturally perceive the numerical transformation during quantization-aware training, which can precisely provide quantization sensitivity metrics of layers. However, a deep network always contains hundreds of such indicators, and training them one by one would lead to an excessive time cost. To overcome this issue, we propose a joint training scheme that can obtain all indicators at once. It considerably speeds up the indicators training process by parallelizing the original sequential training processes. With these learned importance indicators, we formulate the MPQ search problem as a one-time integer linear programming (ILP) problem. That avoids the iterative search and significantly reduces search time without limiting the bit-width search space. For example, MPQ search on ResNet18 with our indicators takes only 0.06 s, which improves time efficiency exponentially compared to iterative search methods. Also, extensive experiments show our approach can achieve SOTA accuracy on ImageNet for far-ranging models with various constraints (e.g., BitOps, compress rate). Code is available on https://github.com/1hunters/LIMPQ.

研究の動機と目的

• 混合精度量子化（MPQ）における指数的増大する探索空間に対処し、従来の反復的探索手法が実行不可能なほど遅い問題を解決すること。
• 完全精度のヘッセ行列近似に依存する既存の基準に基づくMPQ手法に見られるバイアスを克服し、量子化固有の数値的挙動を捉えられない問題を解決すること。
• MPQにおける手動によるビット幅割り当てや制約付き探索空間の必要性を排除し、重みと活性化の両方におけるビット幅選択の完全な柔軟性を実現すること。
• 繰り返し学習データへの評価を回避する1回限りの高速MPQポリシー探索手法を開発し、時間コストを著しく削減すること。
• 量子化に適応した学習中に層の感度を反映する学習可能でエンド・ツー・エンドの重要度指標を確立すること。

提案手法

• 特定のビット幅における量子化に対する層の感度を反映するエンド・ツー・エンドの重要度指標として、量子化器内の学習可能スケール因子を活用すること。
• すべての階層別重要度指標を並列化された共同訓練スキームで同時に訓練することで、逐次的訓練を回避し、時間コストを削減すること。
• 学習済みの重要度指標を用いてMPQ探索問題を1回限りの整数線形計画法（ILP）問題として定式化し、各層に最適なビット幅を割り当てる。
• ILPの解を用いて重みと活性化の両方に混合精度ビット幅を割り当て、細かく柔軟な精度-効率トレードオフを実現すること。
• 重要度訓練、ILPベースのポリシー探索、モデルのファインチューニングを統合した完全な量子化パイプラインに学習可能指標を統合すること。
• 重みと活性化の両方で（例：4ビット、8ビットなど）完全な探索空間をカバーするよう保証し、手動による制約なしに運用可能であること。

実験結果

リサーチクエスチョン

• RQ1 量子化器内に学習可能なスケール因子を用いることで、層の量子化感度を信頼性高くエンド・ツー・エンドで指標化できるか？
• RQ2 重要度指標の共同訓練スキームは、逐次的訓練に比べて著しく訓練時間を短縮できるか？
• RQ3 ILPベースのMPQポリシー探索は、探索時間をほぼゼロ秒まで短縮しつつ、最先端の精度を達成できるか？
• RQ4 反復的探索手法およびヘッセ行列に基づく基準手法と比較して、精度と効率の両面で優れているか？
• RQ5 スケール因子の大きさに基づいてビット幅割り当てを逆転させた場合に性能が低下するか？これにより、提案された重要度指標の妥当性が裏付けられるか？

主な発見

• 本手法はResNet18においてMPQポリシー探索を0.06秒で実行し、AutoQのような反復的手法（1000 GPU時間以上必要）に比べ指数関数的な高速化を達成した。
• ResNet50では重要度訓練を50分（3.3 GPU時間）で完了し、ILP探索を0.35秒で実行した。複数のデプロイデバイスにおいてAutoQに比べ330倍の高速化を実現した。
• HAWQv2に比べてResNet50のトップ-1精度を1.1%向上させつつ、重みと活性化の両方で完全な探索空間の柔軟性を維持した。
• アブレーションスタディの結果、スケール因子の大きさに基づくビット幅割り当ての逆転によりトップ-1精度が6.59%低下した。これは、提案された重要度ベースの割り当ての合理性を裏付けた。
• 9.68 G BitOps制約下では、4ビットの重みと活性化を用いて71.84%のトップ-1精度を達成したが、逆転割り当てでは65.25%に低下した。これにより、学習済み指標の頑健性が確認された。
• 本手法は、ビットオペレーション数や圧縮率といった多様な制約下でも、探索空間を制限せず、さまざまなモデルでImageNetにおいて最先端の精度を達成した。