[論文レビュー] BinaryRelax: A Relaxation Approach For Training Deep Neural Networks With Quantized Weights

Penghang Yin, Shuai Zhang+4 more|arXiv (Cornell University)|Jan 19, 2018

Advanced Neural Network Applications参考文献 40被引用数 9

ひとこと要約

BinaryRelaxは、重みを量子化した深層ニューラルネットワークの学習のための二段階の緩和法を提案する。Moreau包絡関数に基づく連続的正則化子を用いて、重みを段階的に量子化値へと駆り込む。この手法は、近似的直交性条件のもとで収束性を保証し、CIFARおよびImageNetで最先端の精度を達成する。

ABSTRACT

We propose BinaryRelax, a simple two-phase algorithm, for training deep neural networks with quantized weights. The set constraint that characterizes the quantization of weights is not imposed until the late stage of training, and a sequence of \emph{pseudo} quantized weights is maintained. Specifically, we relax the hard constraint into a continuous regularizer via Moreau envelope, which turns out to be the squared Euclidean distance to the set of quantized weights. The pseudo quantized weights are obtained by linearly interpolating between the float weights and their quantizations. A continuation strategy is adopted to push the weights towards the quantized state by gradually increasing the regularization parameter. In the second phase, exact quantization scheme with a small learning rate is invoked to guarantee fully quantized weights. We test BinaryRelax on the benchmark CIFAR and ImageNet color image datasets to demonstrate the superiority of the relaxed quantization approach and the improved accuracy over the state-of-the-art training methods. Finally, we prove the convergence of BinaryRelax under an approximate orthogonality condition.

研究の動機と目的

• 低精度の量子化重みを用いた深層ニューラルネットワークの学習を、高い精度を維持したまま行う課題に対処すること。
• 量子化学習における標準的な射影確率的勾配降下法（PSGD）の収束不良や停滞問題を克服すること。
• 最適化中に硬い量子化制約を緩和することで、量子化ネットワークの安定的かつ高精度な学習を可能にする手法を開発すること。
• 最適化の多様性に起因する近似的直交性条件のもとで、学習プロセスの収束を保証すること。
• CIFARやImageNetなどのベンチマークデータセットにおいて、BinaryConnectなどの既存手法と比較して優れた性能を示すこと。

提案手法

• 硬い量子化集合制約の連続的緩和として、Moreau包絡関数を用いる。これは、量子化重み集合へのユークリッド距離の二乗に等価である。
• 緩和パラメータを用いて、フル精度（float）重みとその量子化版との間で線形補間を行い、擬似量子化重みの系列を維持する。
• 継続戦略により、緩和パラメータを段階的に増加させ、重みを時間経過とともに量子化状態へと駆り込む。
• 第二段階では、小さな学習率を用いて正確な量子化を適用し、すべての重みが完全に量子化されることを保証する。
• 標準的な勾配ステップ（float重み上で実行）と、float重みとその量子化版を混合する重み付き平均更新ステップを交互に実行する。
• 収束性は、量子化集合内の直線部分空間同士のなす角度と、反復点の相対的変化を含む近似的直交性条件のもとで確立される。

実験結果

リサーチクエスチョン

• RQ1 直接射影法と比較して、量子化制約の連続的緩和は、低精度DNNの学習安定性と精度を向上させるか？
• RQ2 まず制約を緩和し、その後に正確な量子化を適用する二段階学習戦略は、エンドツーエンド量子化と比較して、より優れた一般化性能をもたらすか？
• RQ3 非凸的かつ非滑らかな量子化学習の文脈において、緩和に基づく最適化手法が意味のある解に収束する条件は何か？
• RQ4 標準ベンチマークにおいて、BinaryConnectなどの既存手法と比較して、提案手法は精度と頑健性の点で優れているか？
• RQ5 Moreau包絡関数は、硬い量子化制約を滑らかで微分可能な正則化子に変換する役割を果たすか？

主な発見

• BinaryRelaxは、BinaryConnectを含む既存の量子化手法と比較して、CIFAR-10およびImageNetで最先端の検証精度を達成する。
• 特に深層ネットワークにおいて、損失関数の形状が複雑で偽の局所最小値に陥りやすい状況でも、BinaryConnectを一貫して上回る性能を示す。
• 最適化反復点における近似的直交性条件のもとで、BinaryRelaxの収束性は期待値の意味で保証される。
• アルゴリズムは学習の安定性が向上し、小さな学習率を用いた射影確率的勾配降下法で一般的に見られる停滞問題を回避する。
• 緩和パラメータを段階的に増加させる継続戦略を用いることで、収束性を損なうことなく、重みを量子化集合へと効果的に駆り込める。
• 最終段階で小さな学習率を用いた正確な量子化を適用することで、すべての重みが完全に量子化され、低消費電力デバイスでの効率的な推論が可能になる。