[論文レビュー] ProxQuant: Quantized Neural Networks via Proximal Operators

Yu Bai, Yu-Xiang Wang+1 more|arXiv (Cornell University)|Sep 27, 2018

Advanced Neural Network Applications被引用数 49

ひとこと要約

ProxQuantは、正則化された最適化問題として量子化を定式化し、近位勾配降下法を用いて解くことにより、量子化ニューラルネットワークの学習におけるステレートスルー勾配法の原理的でない代替手法を提案する。二値量子化において最先端の手法を上回り、多ビット量子化ではそれらと同等の性能を示し、BinaryConnectよりも高い安定性を示している。

ABSTRACT

To make deep neural networks feasible in resource-constrained environments (such as mobile devices), it is beneficial to quantize models by using low-precision weights. One common technique for quantizing neural networks is the straight-through gradient method, which enables back-propagation through the quantization mapping. Despite its empirical success, little is understood about why the straight-through gradient method works. Building upon a novel observation that the straight-through gradient method is in fact identical to the well-known Nesterov's dual-averaging algorithm on a quantization constrained optimization problem, we propose a more principled alternative approach, called ProxQuant, that formulates quantized network training as a regularized learning problem instead and optimizes it via the prox-gradient method. ProxQuant does back-propagation on the underlying full-precision vector and applies an efficient prox-operator in between stochastic gradient steps to encourage quantizedness. For quantizing ResNets and LSTMs, ProxQuant outperforms state-of-the-art results on binary quantization and is on par with state-of-the-art on multi-bit quantization. For binary quantization, our analysis shows both theoretically and experimentally that ProxQuant is more stable than the straight-through gradient method (i.e. BinaryConnect), challenging the indispensability of the straight-through gradient method and providing a powerful alternative.

研究の動機と目的

• 量子化ニューラルネットワークの学習におけるステレートスルー勾配法の経験的成功の背後にある理論的裏付けの欠如に取り組むこと。
• 安定的かつ効果的な量子化を保証する、ステレートスルー勾配法のより原理的でない代替手法を開発すること。
• 特にResNetsおよびLSTMsにおける深層ニューラルネットワークの二値および多ビット量子化における性能を向上させること。
• ステレートスルー勾配法と、量子化制約付き最適化問題におけるネステロフの双対平均化アルゴリズムとの間の明確な理論的関係を確立すること。

提案手法

• ProxQuantは、量子化制約を伴う正則化学習問題として、量子化ニューラルネットワークの学習を定式化する。
• 勾配を計算するために、フル精度の重みベクトル上でバックプロパゲーションを実行する。
• 確率的勾配降下ステップの間に、効率的な近位作用素を適用して、量子化された重みを強制する。
• 近位作用素は、有効な量子化された重みの集合への射影として機能し、低精度解への収束を促進する。
• この手法は近位勾配最適化フレームワークに裏打ちされており、理論的安定性と収束性を保証する。
• このアプローチは、二値および多ビット量子化の両方に対応し、ResNetsおよびLSTMsを用いた評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 ステレートスルー勾配法は、理論的根拠が欠如しているにもかかわらず、なぜ機能するのか？
• RQ2 量子化ニューラルネットワークの学習に向けた、より原理的でない最適化フレームワークを開発できるか？
• RQ3 ProxQuantの性能は、二値および多ビット量子化におけるステレートスルー勾配法と比べてどうか？
• RQ4 実際の応用において、ProxQuantはBinaryConnectよりも安定性に優れているか？
• RQ5 ステレートスルー勾配法と、既存の最適化アルゴリズムとの間には、どのような理論的関係があるか？

主な発見

• ProxQuantは、ResNetsおよびLSTMsの二値量子化において、最先端の手法を上回る性能を発揮する。
• 多ビット量子化においても、最先端の手法と同等の性能を達成する。
• 理論的および実験的に、ステレートスルー勾配法（BinaryConnect）よりも安定性に優れている。
• 本稿では、ステレートスルー勾配法が、量子化制約付き問題におけるネステロフの双対平均化アルゴリズムと等価であることを確立している。
• ProxQuantにおける近位作用素は、学習中の量子化された重みの効果的かつ効率的な強制を可能にする。