[論文レビュー] LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification

Sharath Girish, Kamal Gupta+2 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

LilNetX は、再パrameter化された潜在空間正則化を用いて、モデル圧縮と構造的スパarsityを一括して最適化するエンド・ツー・エンドで学習可能なフレームワークを導入する。ResNet-20 (CIFAR-10) では最大50%のモデルサイズ削減と98%のスパarsityを達成し、ResNet-50 (ImageNet) では35%のサイズ削減と42%の構造的スパarsityを達成するが、元の精度を維持する。後処理やマルチステージ学習を必要としない。

ABSTRACT

We introduce LilNetX, an end-to-end trainable technique for neural networks that enables learning models with specified accuracy-rate-computation trade-off. Prior works approach these problems one at a time and often require post-processing or multistage training which become less practical and do not scale very well for large datasets or architectures. Our method constructs a joint training objective that penalizes the self-information of network parameters in a reparameterized latent space to encourage small model size while also introducing priors to increase structured sparsity in the parameter space to reduce computation. We achieve up to 50% smaller model size and 98% model sparsity on ResNet-20 while retaining the same accuracy on the CIFAR-10 dataset as well as 35% smaller model size and 42% structured sparsity on ResNet-50 trained on ImageNet, when compared to existing state-of-the-art model compression methods. Code is available at https://github.com/Sharath-girish/LilNetX.

研究の動機と目的

• 実世界の展開において、ストレージ、計算、送信コストを最小限に抑える効率的なディープラーニングモデルの需要を満たすため。
• ストレージ向けのモデル圧縮と計算向けの構造的スパarsityのギャップを、1つの学習プロセスで両者を同時に最適化することで埋めるため。
• 後処理による量子化やプルーニングのステップを排除し、追加処理なしに直接エンド・ツー・エンド学習を可能にするため。
• 潜在空間の事前分布を用いて構造的スパarsity（スライススパarsity）を強制する新規な手法を導入し、高い圧縮比を維持するため。
• 調整可能な正則化重みを用いて、モデルサイズ、推論計算量（FLOPs）、精度の間の調整可能なトレードオフを提供するため。

提案手法

• 本手法は再パラメータ化された潜在空間を用いてネットワーク重みを量子化し、これらの潜在表現のエントロピーを最小化することで、極端なモデル圧縮を実現する。
• 2つの正則化項を導入する：1つは潜在重みのL1ノルムによる非構造的スパarsity（unstructured sparsity）のため、もう1つは復元された重み空間における構造的スパarsity（スライススパarsity）のため。
• スライススパarsityは、K×Kのカーネルスライスに非ゼロ値が存在するのをペナルティ化することで強制され、CuSPARSEなどのライブラリを介してブロックスパース行列乗算と効率的な推論を可能にする。
• エントロピー最小化と非構造的・構造的スパarsity正則化を組み合わせた共同最適化目的関数を交差エントロピー損失と併せてエンド・ツー・エンドで学習する。
• ハイパーパrameter λU（非構造的スパarsity）と λS（構造的スパarsity）の調整により、精度・レート・計算量のトレードオフを制御可能である。
• 後処理やファインチューニングを必要とせず、モデルパラメータに直接処理を施すため、大規模なデータセットやアーキテクチャへのスケーラブルな展開が可能である。

実験結果

リサーチクエスチョン

• RQ1 後処理を要せず、エンド・ツー・エンド学習中にモデル圧縮と構造的スパarsityを同時に最適化できるか？
• RQ2 重み空間におけるスライススパarsityの強制は、高い圧縮率と精度を維持したまま、実用的な推論速度向上をもたらすか？
• RQ3 潜在空間の事前分布は、極端な圧縮と構造的スパarsityを同時に達成するためにどれほど効果的か？
• RQ4 正則化ハイパーパrameterを用いて、モデルサイズ、FLOPs、精度のトレードオフを効果的に制御できるか？
• RQ5 最先端の量子化およびプルーニング技術と比較して、本手法は圧縮率とスパarsityの両面で優れているか？

主な発見

• CIFAR-10用ResNet-20では、LilNetXが元のモデルと同等の精度を維持しながら、50%のモデルサイズ削減と98%のスパarsityを達成した。
• ImageNet用ResNet-50では、35%のモデルサイズ削減と42%の構造的スパarsityを達成し、ベースラインと同等の精度を維持した。
• 調整可能な正則化重み λU と λS を用いることで、モデルサイズ、FLOPs、精度の連続的トレードオフを実現できた。
• スライススパarsityの強制は、非構造的スパarsityのみよりも高い構造的スパarsityを達成し、後者に構造的事前分布を組み合わせることで98%のスパarsity向上が得られた。
• アブレーションスタディの結果、構造的スパarsity事前分布は、CIFAR-100のようなより大きなデータセットでさえ、精度を損なわず圧縮とスパarsityの両方を著しく向上させた。
• 後処理やマルチステージ学習を必要とせず、既存の最先端手法を上回るモデル圧縮と構造的スパarsityを達成した。