[論文レビュー] Position-based Scaled Gradient for Model Quantization and Sparse Training.

Jangho Kim, KiYoon Yoo+1 more|arXiv (Cornell University)|May 22, 2020

Advanced Neural Network Applications参考文献 24被引用数 6

ひとこと要約

本稿では、重みベクトルの位置に基づいて勾配をスケーリングする Position-based Scaled Gradient (PSG) を導入する。重み空間を変形した空間での勾配降下法を再パrameter化することにより、PSGは、高精度モデルと圧縮モデル間の分布ギャップを低減する正則化項として機能し、極めて低いビット幅でさえもCIFAR-10/100およびImageNetで優れた性能を示す、非圧縮モードと圧縮モードの両方でスムーズにデプロイ可能なモデル圧縮を実現する。

ABSTRACT

We propose the position-based scaled gradient (PSG) that scales the gradient depending on the position of a weight vector to make it more compression-friendly. First, we theoretically show that applying PSG to the standard gradient descent (GD), which is called PSGD, is equivalent to the GD in the warped weight space, a space made by warping the original weight space via an appropriately designed invertible function. Second, we empirically show that PSG acting as a regularizer to a weight vector is very useful in model compression domains such as quantization and sparse training. PSG reduces the gap between the weight distributions of a full-precision model and its compressed counterpart. This enables the versatile deployment of a model either as an uncompressed mode or as a compressed mode depending on the availability of resources. The experimental results on CIFAR-10/100 and Imagenet datasets show the effectiveness of the proposed PSG in both domains of sparse training and quantization even for extremely low bits.

研究の動機と目的

• 量子化およびスパース学習の過程で、高精度モデルと圧縮モデルの間の分布ギャップを解消すること。
• 重み分布の正則化を通じて、圧縮モデルの互換性と性能を向上させること。
• リソースの可用性に応じて、非圧縮モードと圧縮モードの両方で柔軟にデプロイ可能なモデルの実現。
• PSGが勾配再重み付けによって圧縮に優れた性質を向上させることを理論的および実験的に検証すること。

提案手法

• PSGは、重み空間における各重みベクトルの位置に基づいて勾配をスケーリングする。このスケーリングには、可逆的かつ位置依存性を持つ関数が用いられる。
• この手法は、圧縮特性を向上させるように設計された変形関数を用いた歪みのある重み空間における標準的勾配降下法と理論的に同等である。
• 勾配スケーリングは、高精度モデルと圧縮モデルの間で重み分布が一致するよう促す正則化項として機能する。
• アーキテクチャの変更なしに標準的な学習パイプラインに統合可能であり、広範な適用性を有する。
• 変形関数は微分可能かつ可逆的であり、最適化経路を保持しながらも圧縮特性を改善する。
• PSGはバックプロパゲーション中に適用され、重みの位置に応じて勾配の大きさを調整することで、スパarsityと量子化安定性を促進する。

実験結果

リサーチクエスチョン

• RQ1 重みの位置に基づく勾配スケーリングは、高精度モデルと圧縮モデル間の分布ギャップを低減できるか？
• RQ2 PSGは、極めて低いビット幅での量子化およびスパース学習において、モデル性能をどのように向上させるか？
• RQ3 PSGは、非圧縮モードと圧縮モードの両方でスムーズなデプロイを可能にするか？
• RQ4 PSGは、ImageNetを含む多様なデータセットおよびモデルアーキテクチャにおいても有効であるか？
• RQ5 PSGは、アーキテクチャの変更なしに標準的な学習パイプラインに統合可能か？

主な発見

• PSGは、高精度モデルと量子化モデル間の分布ギャップを顕著に低減し、圧縮環境下での一般化性能を向上させる。
• 極めて低いビット幅でも、CIFAR-10/100およびImageNetで優れた性能を示す、有効なモデル圧縮を実現する。
• PSGで学習されたモデルは、非圧縮モードと圧縮モードの両方で高い精度を維持し、柔軟なデプロイを可能にする。
• PSGは、量子化およびスパarsity制約下での学習を安定化させる正則化項として機能する。
• 歪んだ重み空間における勾配降下法と理論的に同等であるという事実は、最適化の安定性を裏付ける。
• 実験的結果から、量子化およびスパース学習の両方で一貫した性能向上が得られ、広範な適用性が示された。