[論文レビュー] Learning low-precision neural networks without Straight-Through Estimator(STE)

Zhigang Liu, Matthew Mattina|arXiv (Cornell University)|Mar 4, 2019

Advanced Neural Network Applications参考文献 8被引用数 5

ひとこと要約

本論文は、直線的推定子（STE）に依存せずに低精度ニューラルネットワークを訓練するための新しい手法であるアルファブレンド（AB）を提案する。ABは、損失関数内の量子化重みを、フルプレシジョン重みと量子化重みのアフィン結合に置き換える。この結合係数αは0から1に段階的に増加させることで、フルプレシジョン経路を通じた安定した勾配伝搬を可能にする。この手法は、先行するSTEベースの量子化と比較して、4ビット重みおよび8ビット活性化のImageNetモデルでトップ1精度を2.93%向上させ、最先端の性能を達成した。

ABSTRACT

The Straight-Through Estimator (STE) is widely used for back-propagating gradients through the quantization function, but the STE technique lacks a complete theoretical understanding. We propose an alternative methodology called alpha-blending (AB), which quantizes neural networks to low-precision using stochastic gradient descent (SGD). Our method (AB) avoids STE approximation by replacing the quantized weight in the loss function by an affine combination of the quantized weight w_q and the corresponding full-precision weight w with non-trainable scalar coefficient $α$ and $1-α$. During training, $α$ is gradually increased from 0 to 1; the gradient updates to the weights are through the full-precision term, $(1-α)w$, of the affine combination; the model is converted from full-precision to low-precision progressively. To evaluate the method, a 1-bit BinaryNet on CIFAR10 dataset and 8-bits, 4-bits MobileNet v1, ResNet_50 v1/2 on ImageNet dataset are trained using the alpha-blending approach, and the evaluation indicates that AB improves top-1 accuracy by 0.9%, 0.82% and 2.93% respectively compared to the results of STE based quantization.

研究の動機と目的

• 量子化ニューラルネットワークにおける勾配誤差伝搬における直線的推定子（STE）の理論的根拠の欠如に対処すること。
• 量子化中に安定した勾配更新を可能にするために、STEの経験的近似を避ける訓練手法の開発。
• 1ビットバイナリネットおよび4ビット／8ビットのMobileNet・ResNetアーキテクチャを含む、低精度モデルにおける提案手法の有効性の評価。
• アルファブレンドが、最先端のSTEベースの量子化技術を上回る推論精度を達成することの実証。

提案手法

• 損失関数内の量子化重みwqを、w_ab = (1 - α)w + αwqというアフィン結合に置き換える。ここでwはフルプレシジョン重み、αは学習不能なスカラーである。
• 訓練中にαを0.0から1.0に段階的に増加させ、モデルをフルプレシジョンから低精度動作へ徐々に移行させる。
• 勾配更新をフルプレシジョン成分(1 - α)wに対して実行することで、誤差逆伝搬中に微分可能な経路を通じて勾配が流れることを保証する。
• 重みや活性化を含む、異なるネットワーク部品にABを適用するために、レイヤー単位またはチャネル単位の量子化戦略を用いる。
• 修正された損失関数を用いて、確率的勾配降下法（SGD）でモデルを訓練し、訓練中もフルプレシジョン重みを学習可能なパラメータとして維持する。
• 訓練終了後に最終的なモデルを低精度推論形式に変換し、最終的なα = 1.0に基づいて重みと活性化を量子化する。

実験結果

リサーチクエスチョン

• RQ1 STEの使用を避けることができる訓練手法は設計可能か？ その際、量子化精度を維持または向上させられるか？
• RQ2 フルプレシジョン重みと量子化重みの段階的ブレンドは、低精度ネットワークにおける安定的かつ効果的な誤差逆伝搬を可能にするか？
• RQ3 CIFAR10やImageNetのような標準ベンチマークにおいて、アルファブレンドはSTEベースの量子化と比較してトップ1精度でどのように差をつけるか？
• RQ4 混合精度量子化（例：4ビット重みと8ビット活性化）において、STEに依存せずにABが競争力のある性能を達成できるか？

主な発見

• CIFAR10の1ビットバイナリネットにおいて、ABはSTEベースの量子化と比較してトップ1精度を0.9%向上させた。
• 8ビット重みおよび8ビット活性化量子化において、ABはImageNetで最先端のSTEベース手法と比較して0.82%高いトップ1精度を達成した。
• 4ビット重みおよび8ビット活性化モデルにおいて、ABはMobileNetおよびResNetアーキテクチャ全体で平均して、先行研究よりトップ1精度が2.93%向上した。
• ABの4ビット重みおよび4ビット活性化量子化は、最高の4ビット重みと8ビット活性化手法と同等の精度を達成し、混合精度設定における有効性を示した。
• ABのチャネル単位量子化バージョンは、4ビット重みおよび8ビット活性化において平均で0.9%の精度低下を示したが、先行結果を2.93%上回った。
• 非微分可能な量子化関数が存在する中でも、この手法は勾配消失の問題を回避し、低精度モデルの訓練に成功した。