[論文レビュー] Additive Noise Annealing and Approximation Properties of Quantized Neural Networks

Matteo Spallanzani, Lukas Cavigelli+3 more|arXiv (Cornell University)|May 24, 2019

Neural Networks and Applications参考文献 33被引用数 15

ひとこと要約

本稿では、非微分可能であるとされる量子化層の学習を改善するためにノイズ誘発正則化を活用する、新しい勾配ベースの訓練手法であるAdditive Noise Annealing (ANA)を提案する。量子化パラメータに加法的ノイズの期待値を適用することで、離散的活性化関数を介した誤差逆伝搬が可能となり、CIFAR-10（トップ1正解率90.74％）およびImageNet（AlexNetで45.80％、MobileNetV2で64.79％）で最先端の性能を達成する。

ABSTRACT

We present a theoretical and experimental investigation of the quantization problem for artificial neural networks. We provide a mathematical definition of quantized neural networks and analyze their approximation capabilities, showing in particular that any Lipschitz-continuous map defined on a hypercube can be uniformly approximated by a quantized neural network. We then focus on the regularization effect of additive noise on the arguments of multi-step functions inherent to the quantization of continuous variables. In particular, when the expectation operator is applied to a non-differentiable multi-step random function, and if the underlying probability density is differentiable (in either classical or weak sense), then a differentiable function is retrieved, with explicit bounds on its Lipschitz constant. Based on these results, we propose a novel gradient-based training algorithm for quantized neural networks that generalizes the straight-through estimator, acting on noise applied to the network's parameters. We evaluate our algorithm on the CIFAR-10 and ImageNet image classification benchmarks, showing state-of-the-art performance on AlexNet and MobileNetV2 for ternary networks.

研究の動機と目的

• ハイパーキューブ上でのLipschitz連続関数を近似可能な、量子化ニューラルネットワーク（QNNs）の形式的定義と、その普遍近似能力の確立。
• QNNにおける非微分可能で多段階な関数に加法的ノイズを適用した正則化効果を理論的に分析し、ノイズの適用によって微分可能な代替関数が得られることを示す。
• ネットワークパラメータにノイズを注入する手法に基づき、ストレートスラッシュ推定器を一般化する新しい勾配ベースの訓練アルゴリズム、Additive Noise Annealing (ANA) の開発。
• 標準ベンチマーク上でのAN Aの実証的検証を通し、STE や XNOR-Net と比較して三値ネットワークにおいて優れた性能を示す。
• 重みと活性化を三値に量子化することで、高精度を維持したまま、効率的かつハードウェアに優れた推論を可能にする。

提案手法

• 重みや/および活性化が有限な量子化集合 $Q$（例：$\{-1, 0, +1\}$）に制限された深層ニューラルネットワークとしてQNNを定式化し、ハイパーキューブ上での連続関数空間におけるその稠密性を証明する。
• 微分可能確率密度関数を有する非微分可能多段階関数に期待値作用素を適用した場合、微分可能関数が得られることを理論的に示し、リプシッツ定数に対する明示的な上限を導出する。
• 前向き伝搬時に一様ノイズをネットワークパラメータに注入し、逆伝搬時に期待勾配を使用する手法として、Additive Noise Annealing (ANA) を提案する。これにより、QNNのエンドツーエンド学習が可能になる。
• 前向き伝搬では線形に減少するノイズスケジュールを採用し、逆伝搬では非ゼロの一定ノイズを維持することで、段階的にノイズを減衰させ、学習の安定化を図る。
• VGGに類似したアーキテクチャを用いたCIFAR-10における全ネットワーク量子化および、MobileNetV2の残差ブランチにおける部分的量子化にANAを適用し、MAC演算量を約70％削減する。
• 一様ノイズを用いた実装により、ディープラーニングフレームワーク上でのAN Aの効率的実装を可能とし、オープンソースコードによる実行再現性と実用的導入を実現する。

実験結果

リサーチクエスチョン

• RQ1 有限値をとる重みと活性化を持つ量子化ニューラルネットワークは、ハイパーキューブ上での任意のLipschitz連続関数を近似可能か？
• RQ2 加法的ノイズが非微分可能な量子化関数に与える正則化メカニズムは何か？ また、微分可能な代替勾配を生成できるか？
• RQ3 ノイズを含む区分的定数関数の期待値をどのようにして、QNNにおける誤差逆伝搬に適した微分可能な近似関数として構築できるか？
• RQ4 ノイズに基づく正則化手法は、ストレートスラッシュ推定器などの既存の勾配推定技術を上回る性能を示せるか？
• RQ5 AlexNet や MobileNetV2 といった現代的アーキテクチャを対象とした、全量子化および部分量子化に適用した場合、ANAの標準画像分類ベンチマーク上での性能はいかほどか？

主な発見

• 重みと活性化が有限集合 $Q$ に属するQNNは、ハイパーキューブ上での連続関数空間において稠密であることが示され、普遍近似能力が裏付けられた。
• 微分可能確率密度関数を有する非微分可能多段階関数に期待値作用素を適用すると、微分可能な関数が得られ、そのリプシッツ定数はノイズ密度の変動によって明示的に上限が与えられる。
• VGGに類似したアーキテクチャを用いた三値重みで、CIFAR-10におけるトップ1検証正解率が90.74％に達し、直接比較されたSTE（89.85％）やGXNOR-Net（92.50％）を上回る性能を示した。
• ImageNetでは、三値AlexNetでトップ1正解率が45.80％を記録し、完全精度ベースライン（54.71％）との正解率差を標準的なSTE（41.80％）と比較して31％縮小した。
• MobileNetV2では、残差ブランチ（MACの約70％）のみを量子化した場合、精度は71.25％から64.79％に6.46％低下するが、高い効率性とスケーラビリティを示した。
• XNOR-Net（ImageNetで44.20％）を上回り、他の最先端の三値学習手法と同等または上回る性能を示し、より優れた一般化性能と深層モデルへのスケーラビリティを有する。