[論文レビュー] Make RepVGG Greater Again: A Quantization-aware Approach

Xiangxiang Chu, Liang Li+1 more|arXiv (Cornell University)|Dec 3, 2022

Advanced Neural Network Applications被引用数 16

ひとこと要約

本稿では、QARepVGGを提案する。これは、INT8後処理量子化における精度低下を著しく軽減する、量子化に配慮した再パラメータ化された畳み込みブロックであり、RepVGGと同等の高精度FP32性能と高速な推論速度を維持する。標準的な後処理量子化（PTQ）を用いたImageNet上でのトップ1精度損失は2%未満に抑えられる。本手法は、重みと活性化の分布を再構築することで、量子化にやさしい構造を実現し、追加の訓練やハードウェアコストなしに堅牢なデプロイを可能にする。

ABSTRACT

The tradeoff between performance and inference speed is critical for practical applications. Architecture reparameterization obtains better tradeoffs and it is becoming an increasingly popular ingredient in modern convolutional neural networks. Nonetheless, its quantization performance is usually too poor to deploy (more than 20% top-1 accuracy drop on ImageNet) when INT8 inference is desired. In this paper, we dive into the underlying mechanism of this failure, where the original design inevitably enlarges quantization error. We propose a simple, robust, and effective remedy to have a quantization-friendly structure that also enjoys reparameterization benefits. Our method greatly bridges the gap between INT8 and FP32 accuracy for RepVGG. Without bells and whistles, the top-1 accuracy drop on ImageNet is reduced within 2% by standard post-training quantization. Moreover, our method also achieves similar FP32 performance as RepVGG. Extensive experiments on detection and semantic segmentation tasks verify its generalization.

研究の動機と目的

• RepVGGがINT8後処理量子化下で20%を超えるトップ1精度損失を示す原因を特定すること。
• RepVGGの高FP32性能と高速推論速度を維持しながら、本質的に量子化に耐性のある再パラメータ化ブロックを設計すること。
• 量子化に配慮したトレーニングやアーキテクチャの大規模な見直しを必要とせず、再パラメータ化ネットワークにおける最先端の後処理量子化性能を達成する方法を開発すること。
• 物体検出やSemantic Segmentationを含む多様なビジョンタスクにおける一般化性を、PTQおよびQATの両設定で検証すること。

提案手法

• 著者らは、RepVGGのマルチブランチ構造が、不適切な重みと活性化の分布により、量子化誤差を著しく拡大することを同定した。
• 彼らは、再設計されたブロックであるQARepVGGを提案し、残差接続とバッチ正則化の配置を変更することで、より量子化にやさしい重みと活性化の分布を生成する。
• すべてのブランチを1つの3×3畳み込みに統合することで、推論速度をRepVGGと同一に保ち、再パラメータ化の利点を維持する。
• 本設計には4つの主要な構成要素が含まれる：(1) メインブランチからのバッチ正則化の削除、(2) 深さ方向畳み込み後にスキップ接続に置き換えられた残差接続、(3) 正則化と活性化の順序の再編集、(4) 単一の正則化レイヤーの使用。
• 本手法は、標準的な後処理量子化（PTQ）および量子化に配慮したトレーニング（QAT）と互換性があり、追加のキャリブレーションやファインチューニングを必要としない。
• 最終的なアーキテクチャは、各構成要素が量子化耐性に与える寄与を検証するアブレーションスタディを通じて導出された。

実験結果

リサーチクエスチョン

• RQ1 なぜRepVGGは、特に後処理量子化下で深刻な精度低下を示すのか？
• RQ2 RepVGGアーキテクチャのどの構造的特性が、量子化誤差の増大を引き起こすのか？
• RQ3 高FP32精度と高速推論速度を維持しながら、本質的にINT8量子化に耐性を持つ再パラメータ化ブロックを設計できるか？
• RQ4 重みと活性化の分布の変更が、再パラメータ化ネットワークにおける量子化性能にどのように影響するか？
• RQ5 提案されたQARepVGG設計は、検出やセマンティックセグメンテーションなどの異なるモデルスケールおよびビジョンタスクに一般化可能か？

主な発見

• QARepVGGは、後処理量子化下でImageNet上で70.4%のトップ1精度を達成した。これに対してRepVGG-A0は50.3%にとどまり、精度損失を2%未満にまで低減した。
• RepVGG-B1g2バージョンでは、QARepVGGは77.0%のINT8精度を維持した。これに対してRepVGGはわずか14.5%にとどまり、62.5ポイントの大幅な改善が達成された。
• 量子化に配慮したトレーニング下では、QARepVGGはImageNetで71.9%のトップ1精度を達成し、RepVGG+QATを5.6ポイント上回った。
• COCOにおける物体検出では、QARepVGGを搭載したYOLOv6モデルはPTQ下で1.3%のmAP損失にとどまった。これに対してRepVGG搭載のYOLOv6sは7.4%のmAP損失を示した。
• FCNおよびDeepLabV3+を用いたセマンティックセグメンテーションでは、mIoUの損失がRepVGGの5.3%からQARepVGGの1.2%にまで低下し、強力な一般化性能を示した。
• 本手法は、RepVGGと同等のFP32精度を達成するとともに、同じ推論速度を維持しており、量子化デプロイのためのドロップインリプレースとして利用可能である。