[論文レビュー] Post-training Quantization with Multiple Points: Mixed Precision without Mixed Precision

Xingchao Liu, Mao Ye+2 more|arXiv (Cornell University)|Feb 20, 2020

Advanced Neural Network Applications参考文献 35被引用数 6

ひとこと要約

本稿では、複数の低ビットベクトルの線形結合を用いて、再訓練やトレーニングデータへのアクセスなしに、フル精度重みを近似するpost-training量子化手法「multipoint quantization」を提案する。この手法により、専用ハードウェアを必要とせずに混合精度に類似した性能が達成可能であり、メモリおよび計算オーバーヘッドを最小限に抑えつつ、ImageNetおよびPASCAL VOCでSOTAの精度を達成する。重要なチャネルに対しては、グリーディアルゴリズムを用いて高ポイント近似を適応的に選択する。

ABSTRACT

We consider the post-training quantization problem, which discretizes the weights of pre-trained deep neural networks without re-training the model. We propose multipoint quantization, a quantization method that approximates a full-precision weight vector using a linear combination of multiple vectors of low-bit numbers; this is in contrast to typical quantization methods that approximate each weight using a single low precision number. Computationally, we construct the multipoint quantization with an efficient greedy selection procedure, and adaptively decides the number of low precision points on each quantized weight vector based on the error of its output. This allows us to achieve higher precision levels for important weights that greatly influence the outputs, yielding an 'effect of mixed precision' but without physical mixed precision implementations (which requires specialized hardware accelerators). Empirically, our method can be implemented by common operands, bringing almost no memory and computation overhead. We show that our method outperforms a range of state-of-the-art methods on ImageNet classification and it can be generalized to more challenging tasks like PASCAL VOC object detection.

研究の動機と目的

• 再訓練やトレーニングデータへのアクセスなしに、リソース制約のあるデバイスに量子化されたニューラルネットワークをデプロイする課題に対処すること。
• 専用ハードウェアアクセラレータを必要とせずに、post-training量子化において混合精度に類似した精度向上を達成すること。
• 一般的な演算のみを用い、低メモリおよび計算オーバーヘッドを維持するハードウェアフレンドリーな量子化手法を開発すること。
• 複数の低ビットベクトルを用いて、1つの精度レベルでチャネルごとの精度制御を適応的に行えるようにすること。
• 画像分類を超えて、オブジェクト検出のような複雑なタスクへの一般化を示すこと。

提案手法

• 各フル精度重みベクトルを、複数の低ビットベクトルの線形結合として近似することで、チャネルごとの柔軟な精度割り当てが可能になる。
• グリーディ選択アルゴリズムにより、出力誤差を最も小さくする低ビットベクトルを反復的に追加し、誤差改善量がしきい値未満に下がると停止する。
• 各チャネルあたりの低ビットベクトルの数は、出力誤差への寄与度に基づき適応的に決定され、重要度の高いチャネルが優遇される。
• 本手法は標準的な乗算累積（MAC）演算のみを用いるため、一般ハードウェアと互換性があり、混合精度計算の要件を回避する。
• アルゴリズムはレイヤーやチャネルごとに適用され、重みおよび活性化を4ビット以下に量子化し、耐性を高めるためにクリッピングを含む。
• 本手法はレイヤー単位およびチャネル単位の両方の量子化に一般化可能であり、メモリ増加が最小限で、計算オーバーヘッドは無視できる。

実験結果

リサーチクエスチョン

• RQ1 専用ハードウェアアクセラレータを必要とせずに、post-training量子化が混合精度に類似した性能を達成できるか？
• RQ2 1つの精度レベルの量子化手法が、各重みに対して複数の低ビットベクトルを用いることで、既存のSOTA手法を上回る精度を達成できるか？
• RQ3 チャネル間での低ビットベクトルの適応的割り当てが、モデルの精度およびリソースコストに与える影響は何か？
• RQ4 提案手法は画像分類を越えて、オブジェクト検出のようなより複雑なタスクにも一般化可能か？
• RQ5 提案されたmultipoint量子化フレームワークにおいて、計算コスト、メモリオーバーヘッド、精度向上のトレードオフは何か？

主な発見

• ImageNet分類において、本手法は、重みクリッピングを施した後、VGG19-BNおよびInception-v3でSOTAの混合精度ベースライン（Banner et al., 2019）を上回り、Top-1精度が2%以上向上した。
• 4ビット量子化では、レイヤー単位量子化ではSSD-VGG16でmAPが1.24%向上し、チャネル単位量子化では0.41%向上した。
• 3ビット重み量子化では、レイヤー単位量子化でSSD-VGG16のmAPが4.38%向上し、メモリオーバーヘッドはたった0.01MBであった。
• 3ビットチャネル単位量子化ではmAPが1.09%向上し、低ビット幅でも優れた性能を示した。
• すべての実験においてメモリオーバーヘッドは5%未満であり、計算オーバーヘッドはナーブな量子化と比較して17%以下であった。
• グリーディアルゴリズムにより高速収束が達成され、使用する低ビットベクトル数に応じて誤差が指数関数的に減少した。