[論文レビュー] Network Quantization with Element-wise Gradient Scaling

Junghyup Lee, Dohyung Kim+1 more|arXiv (Cornell University)|Apr 2, 2021

Advanced Neural Network Applications参考文献 44被引用数 8

ひとこと要約

本稿では、連続入力と量子化器の離散出力の間の量子化誤差に加え、各勾配の符号を考慮することで、逆誤差伝搬中に勾配を自己適応的にスケーリングする新しい手法である要素別勾配スケーリング（EWGS）を提案する。EWGSは、標準的なストレートスルー推定（STE）に比べて訓練の安定性と精度を向上させ、CIFAR-10およびImageNetにおいて多様なアーキテクチャとビット幅で最先端の性能を達成しており、追加のハイパーパramータチューニングやトレーニングスケジュールを必要としない。

ABSTRACT

Network quantization aims at reducing bit-widths of weights and/or activations, particularly important for implementing deep neural networks with limited hardware resources. Most methods use the straight-through estimator (STE) to train quantized networks, which avoids a zero-gradient problem by replacing a derivative of a discretizer (i.e., a round function) with that of an identity function. Although quantized networks exploiting the STE have shown decent performance, the STE is sub-optimal in that it simply propagates the same gradient without considering discretization errors between inputs and outputs of the discretizer. In this paper, we propose an element-wise gradient scaling (EWGS), a simple yet effective alternative to the STE, training a quantized network better than the STE in terms of stability and accuracy. Given a gradient of the discretizer output, EWGS adaptively scales up or down each gradient element, and uses the scaled gradient as the one for the discretizer input to train quantized networks via backpropagation. The scaling is performed depending on both the sign of each gradient element and an error between the continuous input and discrete output of the discretizer. We adjust a scaling factor adaptively using Hessian information of a network. We show extensive experimental results on the image classification datasets, including CIFAR-10 and ImageNet, with diverse network architectures under a wide range of bit-width settings, demonstrating the effectiveness of our method.

研究の動機と目的

• ストレートスルー推定（STE）が、量子化誤差を考慮せずにすべての勾配を均一に扱うため、量子化ニューラルネットワークにおける勾配の流れが最適でないという問題に取り組むこと。
• より自己適応的な勾配更新メカニズムを導入することで、低ビットネットワークの量子化における訓練の安定性と精度を向上させること。
• 2次情報（ヘッセ行列）を用いて、各層ごとに勾配スケーリングを動的に調整する手法を開発し、広範なハイパーパramータサーチの必要性を回避すること。
• 提案手法が、さまざまなネットワークアーキテクチャとビット幅設定において一般化可能で効果的であることを実証すること。

提案手法

• EWGSは、逆誤差伝搬中に、勾配の符号と量子化器の連続的な潜在入力と離散出力との間の量子化誤差に基づいて、各勾配要素を自己適応的にスケーリングする。
• 損失関数の離散出力に関するヘッセ行列のトレースから得られるスケーリング要因を、ハッチンソン法を効率的に用いて推定する。
• ネットワーク内の異なる層における量子化器の感度のばらつきを考慮し、各層ごとにスケーリング要因を自己適応的に更新する。
• 固定された勾配フローを採用する標準的なSTEとは異なり、本手法は局所的な曲率と量子化プロセスの誤差感受性を反映した勾配スケーリングメカニズムを導入する。
• アーキテクチャの変更や追加のトレーニングスケジュールを必要とせず、既存の量子化フレームワークに統合可能である。
• スケーリングは要素ごとに行われ、離散的量子化レベル周辺の損失関数の局所幾何構造に細かく適合できる。

実験結果

リサーチクエスチョン

• RQ1 量子化誤差を考慮した勾配スケーリングは、標準的なSTEに比べて、量子化ニューラルネットワークの訓練の安定性と精度を向上させるか？
• RQ2 ヘッセ情報に基づく自己適応的勾配スケーリングは、低ビットネットワーク量子化における収束性と性能にどのように影響を与えるか？
• RQ3 EWGSは、ハイパーパramータの再チューニングを要せず、さまざまなネットワークアーキテクチャとビット幅設定に一般化可能か？
• RQ4 特に1ビットのような極端なビット幅領域において、EWGSはSTEを用いる既存の量子化手法を上回るか？
• RQ5 固定スケーリング要因と自己適応的スケーリング要因の違いが、量子化ネットワークの最終的精度に与える影響は何か？

主な発見

• CIFAR-10およびImageNetにおいて、ResNet-18、MobileNet-V2、ResNet-20など複数のアーキテクチャで、EWGSはSTEに比べて1%の精度向上を達成した。
• ResNet-20を用いたCIFAR-10では、重みと活性化を1ビットにした場合、EWGSは85.6%のトップ-1精度を達成し、STE（84.7%）を上回り、適切なスケーリングを用いた報告済み最高結果（85.3%）に匹敵した。
• ImageNetにおける重みのみ1ビット化されたResNet-18では、EWGSは67.3%のトップ-1精度を達成したのに対し、STEでは66.3%であった。これは、安定性と収束性の向上を示している。
• PROFIT や DoReFa-Net などの他のベースライン量子化手法と比較しても、EWGSは一貫して優れた性能を示し、異なるフレームワーク間での一般化能力が強いことが確認された。
• 固定スケーリング要因0.01を用いても、EWGSは最適チューニング済み結果と同等の性能を達成しており、広範なハイパーパramータチューニングが不要であることを示している。
• 訓練曲線の結果から、特に1ビット設定のような困難な状況において、EWGSはSTEに比べて低い訓練損失と高い検証精度を示しており、改善された訓練ダイナミクスが裏付けられた。