[論文レビュー] Robust Quantization: One Model to Rule Them All

Moran Shkolnik, Brian Chmiel+5 more|arXiv (Cornell University)|Feb 18, 2020

Advanced Neural Network Applications参考文献 27被引用数 34

ひとこと要約

Kurtosis Regularization (KURE) を提案し、ウェイトを均一に近い分布へと整形することで、量子化ビット幅や方針の変動に耐えうる単一モデルを生み出し、PTQとQATに適合する。

ABSTRACT

Neural network quantization methods often involve simulating the quantization process during training, making the trained model highly dependent on the target bit-width and precise way quantization is performed. Robust quantization offers an alternative approach with improved tolerance to different classes of data-types and quantization policies. It opens up new exciting applications where the quantization process is not static and can vary to meet different circumstances and implementations. To address this issue, we propose a method that provides intrinsic robustness to the model against a broad range of quantization processes. Our method is motivated by theoretical arguments and enables us to store a single generic model capable of operating at various bit-widths and quantization policies. We validate our method's effectiveness on different ImageNet models.

研究の動機と目的

• 多様な量子化設定の下で機能する量子化に頑健なDNNの必要性を動機づける。
• 量子化の頑健性のための均一分布と正規分布の重みを比較する理論的枠組みを構築する。
• KURE を導入し、フル精度の性能を損なうことなくテンソル分布を均一性に向けて誘導する。
• ImageNet の CNN に対して PTQ と QAT の両方で経験的な頑健性の向上を示す。

提案手法

• 均一分布と正規分布の下での量子化感度とMSEを定式化し、均一性の頑健性の利点を正当化する。
• 均一なテンソルが正規テンソルより量子化感度が低いことを示す解析的な結果を導出・証明する。
• 訓練損失にkurtosisに基づく正則化項を加えてKUREを導入し、重みを均一に近い分布へと誘導する。
• 量子化前の収束やフル精度の精度を損なわないことを示す。
• 複数のアーキテクチャに渡り、PTQとQATを用いたImageNetモデルでKUREを経験的に検証する。
• 従来研究の勾配L1正則化手法とKUREを比較し、計算上の利点とより広い頑健性を強調する。

実験結果

リサーチクエスチョン

• RQ1 重み/活性化の分布は、量子化のステップサイズやビット幅の変化に対する頑健性にどのように影響するか？
• RQ2 均一分布のテンソルは、正規分布のテンソルより量子化感度が低いか？
• RQ3 kurtosis を対象とする正則化項は、フル精度の性能を損なうことなくモデルの重みを均一に近い分布へ誘導できるか？
• RQ4 PTQとQATの下で、異なる量子化方針とビット幅に対して、単一のKURE正則化モデルが頑健か？
• RQ5 性能と計算コストの両面で、KUREは従来の頑健性手法とどう比較されるか？

主な発見

• 均一な重み分布は、ステップサイズの変化に対して正規分布より量子化感度が低い。
• Kurtosis Regularization (KURE) は、量子化前の収束やフル精度の精度を損なうことなく、均一に近い重み分布を強制できる。
• KURE は PTQ および QAT 設定で、量子化ステップサイズの変化やビット幅の変化に対する頑健性を向上させる。
• KURE は、従来のL1 gradient正則化手法よりも強い頑健性を実現しつつ、計算オーバーヘッドを低く抑える。
• ImageNet で ResNet-18/50 と MobileNet-V2 に対する実証結果は、複数の量子化シナリオで頑健性の向上を示す。