[論文レビュー] Improving Neural Network Quantization using Outlier Channel Splitting

Ritchie Zhao, Yuwei Hu+3 more|arXiv (Cornell University)|Jan 28, 2019

Advanced Neural Network Applications被引用数 8

ひとこと要約

本稿では、再訓練を伴わずに量子化誤差を低減するための、外れ値を示す重み値を持つチャネルを複製し、その大きさを半分にし、再配分するOutlier Channel Splitting (OCS)という手法を提案する。OCSは、ImageNetおよび言語モデリングタスクにおける量子化モデルの精度を向上させ、最新のクリッピング手法を上回り、一般ハードウェア上でも計算コストの増加が最小限に抑えられる。

ABSTRACT

Quantization can improve the execution latency and energy efficiency of neural networks on both commodity GPUs and specialized accelerators. The majority of existing literature focuses on training quantized DNNs, while this work examines the less-studied topic of quantizing a floating-point model without (re)training. DNN weights and activations follow a bell-shaped distribution post-training, while practical hardware uses a linear quantization grid. This leads to challenges in dealing with outliers in the distribution. Prior work has addressed this by clipping the outliers or using specialized hardware. In this work, we propose outlier channel splitting (OCS), which duplicates channels containing outliers, then halves the channel values. The network remains functionally identical, but affected outliers are moved toward the center of the distribution. OCS requires no additional training and works on commodity hardware. Experimental evaluation on ImageNet classification and language modeling shows that OCS can outperform state-of-the-art clipping techniques with only minor overhead.

研究の動機と目的

• 再訓練を伴わず、重みおよび活性化分布における外れ値の影響を受けることなく、事前に訓練された深層ニューラルネットワークを量子化する課題に対処すること。
• 線形量子化グリッドと一致しない極端な値の影響を軽減することで、一般ハードウェア上での量子化精度を向上させること。
• 特別なハードウェアや追加のトレーニングを必要とせず、モデルの機能を維持しながら外れ値に起因する量子化誤差を低減する手法を開発すること。
• OCSの有効性を、ImageNet分類および言語モデリングタスクなどの標準ベンチマークで評価すること。

提案手法

• OCSは、事前に訓練されたニューラルネットワーク内の重みに顕著な外れ値を含むチャネルを特定する。
• 各外れ値チャネルに対して、チャネルを複製し、複製されたコピー内の重みの大きさを半分にする。
• 元のチャネルと複製されたチャネルを、ネットワーク全体の関数を保持するように組み合わせる。これにより、外れ値の値が分布の中心に近づく。
• この再配分により、歪んだベル型分布の重みおよび活性化と不適合な線形量子化グリッドによって生じる量子化誤差が低減される。
• この手法はトレーニング後に行われ、微調整や再トレーニングを必要とせず、既存の推論パイプラインと互換性がある。
• この手法は標準的なハードウェア上で効率的に実装され、モデルサイズおよび推論コストの増加はわずかである。

実験結果

リサーチクエスチョン

• RQ1 再訓練や専用ハードウェアを必要とせず、外れ値重みに起因する量子化誤差を低減できるトレーニング後量子化手法は存在するか？
• RQ2 標準ベンチマーク上で、OCSは既存のクリッピングベースの量子化手法と比べて、精度および効率においてどのように異なるか？
• RQ3 OCSは、量子化後にImageNet分類および言語モデリングタスクにおけるモデル精度をどの程度向上させるか？
• RQ4 外れ値チャネルの分割を行った後でも、重み分布の変更にかかわらずネットワークの機能的同等性は保持されるか？

主な発見

• OCSは、ImageNet分類におけるトップ-1精度において、最新のクリッピングベースの量子化手法を上回っている。
• 言語モデリングタスクにおいても、OCSはクリッピングを上回る高い精度を達成しており、多様なモデルタイプに有効であることが示された。
• OCSはモデルサイズおよび推論コストの増加がわずかであり、一般ハードウェア上での実装に実用的である。
• 量子化後も元のモデルと機能的同等性を維持しており、重みの再配分にかかわらずネットワーク動作は変化しない。
• 外れ値の値を分布の中心に移動させることで、実際の重み分布と線形量子化グリッドとの不一致が低減される。
• 再訓練を一切行わずして改善が達成されたことから、構造的変更を用いたトレーニング後処理としての量子化戦略の有効性が示された。