[論文レビュー] SinReQ: Generalized Sinusoidal Regularization for Low-Bitwidth Deep Quantized Training

Ahmed T. Elthakeb, Prannoy Pilligundla+1 more|arXiv (Cornell University)|May 4, 2019

Advanced Neural Network Applications参考文献 31被引用数 5

ひとこと要約

この論文では、学習中に重みを量子化レベルに導く微分可能で周期的な正則化手法であるSinReQを提案する。これにより、低ビット幅の量子化ネットワークにおける精度が向上する。損失関数に周期的な正則化項を追加することで、SinReQはDoReFaおよびWRPNの量子化学習を向上させ、それぞれ平均で32.4%および27.5%の精度ギャップを縮小する。

ABSTRACT

Deep quantization of neural networks (below eight bits) offers significant promise in reducing their compute and storage cost. Albeit alluring, without special techniques for training and optimization, deep quantization results in significant accuracy loss. To further mitigate this loss, we propose a novel sinusoidal regularization, called SinReQ1, for deep quantized training. SinReQ adds a periodic term to the original objective function of the underlying training algorithm. SinReQ exploits the periodicity, differentiability, and the desired convexity profile in sinusoidal functions to automatically propel weights towards values that are inherently closer to quantization levels. Since, this technique does not require invasive changes to the training procedure, SinReQ can harmoniously enhance quantized training algorithms. SinReQ offers generality and flexibility as it is not limited to a certain bitwidth or a uniform assignment of bitwidths across layers. We carry out experimentation using the AlexNet, CIFAR-10, ResNet-18, ResNet-20, SVHN, and VGG-11 DNNs with three to five bits for quantization and show the versatility of SinReQ in enhancing multiple quantized training algorithms, DoReFa [32] and WRPN [24]. Averaging across all the bit configurations shows that SinReQ closes the accuracy gap between these two techniques and the full-precision runs by 32.4% and 27.5%, respectively. That is improving the absolute accuracy of DoReFa and WRPN by 2.8% and 2.1%, respectively.

研究の動機と目的

• 3〜5ビットの低ビット幅に量子化された深層ニューラルネットワークにおいて顕著な精度低下を緩和すること。特に8ビット未満の状況での課題に焦点を当てる。
• 重み分布が最適でないために依然として残存する精度損失を抱える従来の量子化学習手法の限界を克服すること。
• ネットワークアーキテクチャや最適化手順を変更せずに、既存の量子化学習フレームワークにスムーズに統合可能な汎用的で侵襲性のない正則化手法を開発すること。
• 各層のターゲットビット幅に合わせて正弦波正則化の周期を調整することで、層ごとに柔軟で異種のビット幅割り当てを可能にすること。
• 学習からスクラッチで行う場合とファインチューニングの両方のシナリオにおいて、適応的正則化強度を用いて量子化ネットワークの性能を向上させること。

提案手法

• 標準的な学習損失関数に、ターゲットビット幅の離散的量子化レベルに一致する最小値を持つ微分可能な正弦波正則化項を導入する。
• 正則化項は $ \lambda_q \cdot \sin^2(\pi w / \Delta) $ として定義され、ここで $ \Delta $ は量子化レベルの間隔、$ \lambda_q $ は正則化の強度を制御する。
• 正弦関数の周期的かつ微分可能である性質を活用し、バックプロパゲーションの過程で重み値が最近接の量子化レベルに自然に引き寄せられるようにする。
• すべての層に均等に正則化を適用するか、各層のターゲットビット幅に合わせて周期 $ \Delta $ を調整することで、層ごとに適応的に正則化を適用する。
• $ \lambda_q $ に動的スケジューリングを導入し、初期段階では小さくして探索を許容し、その後段階的に強化することで量子化に近づくよう促す。
• ネットワークトポロジーやコア学習手順を変更せずに、DoReFa や WRPN などの既存の量子化学習アルゴリズムに SinReQ を統合する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で周期的な正則化項が、学習中にネットワーク重みを量子化レベルに効果的に誘導し、後続の量子化による精度損失を低減できるか？
• RQ2 3〜5ビットの低ビット幅量子化下で、さまざまなネットワークアーキテクチャ（例：AlexNet, ResNet, VGG）およびデータセット（CIFAR-10, SVHN）において、SinReQはどの程度の性能を示すか？
• RQ3 SinReQは、学習からスクラッチで行う場合とファインチューニングの両方のワークフローにおいて、どの程度の向上をもたらすか？
• RQ4 層ごとに異なるビット幅を割り当てる異種のビット幅割り当てに対しても、SinReQは互換性と有効性を維持できるか？
• RQ5 正則化強度 $ \lambda_q $ の動的スケジューリングは、定数設定と比較して収束性と最終精度にどのような影響を与えるか？

主な発見

• SinReQは、テスト済みのすべてのビット構成において、DoReFaでは平均で32.4%、WRPNでは27.5%の精度ギャップを縮小した。
• ベースラインバージョンと比較して、DoReFaとWRPNの絶対的なトップ-1精度がそれぞれ2.8%および2.1%向上した。
• 動的 $ \lambda_q $ を用いたスクラッチからの学習において、SinReQは平均で40.2%の精度ギャップを縮小し、すべてのケースでベースラインを上回った。
• 動的スケジューリングにより、重みが初期化付近に閉じ込められるのを防ぎ、有効な探索と量子化に適した値への収束を可能にした。
• ResNet-18, VGG-11, CIFAR-10 など多様なアーキテクチャにおいて一貫した性能を発揮し、優れた一般化性能と柔軟性を示した。
• 学習からスクラッチで行う場合とファインチューニングの両方のシナリオにおいて有効であり、さまざまな学習環境に耐性があり適応可能であることが示された。