[論文レビュー] Model compression as constrained optimization, with application to neural nets. Part V: combining compressions

Miguel Á. Carreira-Perpiñán, Yerlan Idelbayev|arXiv (Cornell University)|Jul 9, 2021

Neural Networks and Applications参考文献 55被引用数 5

ひとこと要約

本稿では、低ランク近似、プルーニング、量子化といった複数のモデル圧縮技術を組み合わせる制約付き最適化フレームワークを提案する。重み行列を個別に圧縮された成分の加法的組み合わせとして表現することで、これらの成分を同時に最適化し、最小限の精度損失で優れた圧縮比を達成する。例えば、ResNet や AlexNet を1ウェイトあたり1ビットに圧縮しても精度の劣化が生じず、VGG は低ランクとプルーニングの組み合わせによりより大きな恩恵を受ける。

ABSTRACT

Model compression is generally performed by using quantization, low-rank approximation or pruning, for which various algorithms have been researched in recent years. One fundamental question is: what types of compression work better for a given model? Or even better: can we improve by combining compressions in a suitable way? We formulate this generally as a problem of optimizing the loss but where the weights are constrained to equal an additive combination of separately compressed parts; and we give an algorithm to learn the corresponding parts' parameters. Experimentally with deep neural nets, we observe that 1) we can find significantly better models in the error-compression space, indicating that different compression types have complementary benefits, and 2) the best type of combination depends exquisitely on the type of neural net. For example, we can compress ResNets and AlexNet using only 1 bit per weight without error degradation at the cost of adding a few floating point weights. However, VGG nets can be better compressed by combining low-rank with a few floating point weights.

研究の動機と目的

• ニューラルネットワークの圧縮技術の最適な選択に直面する課題に取り組むこと、特に個々の手法が相乗効果を十分に活かせない場合を想定する。
• 複数の圧縮技術を一括して最適化できる統合フレームワークを構築すること、逐次的または独立した適用ではなく、統合的最適化を実現する。
• 加法的分解を用いた圧縮タイプの組み合わせが、個々の手法よりも、モデルサイズ、推論速度、精度のトレードオフを改善できるかを検討すること。
• ResNet、AlexNet、VGG といった多様なアーキテクチャを対象に、組み合わせ圧縮の有効性を実証的に評価し、アーキテクチャごとの最適な組み合わせを同定すること。

提案手法

• 元の重み行列を W = W₁ + W₂ + W₃ のように、それぞれ異なる圧縮タイプ（例：低ランク、スパース、量子化）を表す成分の和に分解することで、モデル圧縮を制約付き最適化問題として定式化する。
• 微分可能最適化フレームワークを用い、各成分のパラメータを同時に学習可能にし、バックプロパゲーションを介したエンドツーエンドの学習を可能にする。
• 交互最適化を適用：他のすべての成分を固定し、1つの成分のみを勾配降下法で最適化し、成分を順に回すことで収束まで繰り返す。
• 標準的な圧縮技術（特異値分解による低ランク近似、マグニチュードベースのプルーニング、1ビット量子化）を加法的分解フレームワークに統合する。
• スパース性と量子化制約の微分可能緩和を、ソフトスレッショルドとストレートスラッシュ推定器を用いて実装し、勾配の流れを確保する。
• Jetson Nano などのエッジデバイス上で、推論遅延、モデルサイズ、精度を測定しながら、ImageNet を用いて ResNet、AlexNet、VGG アーキテクチャで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 加法的分解を用いた複数の圧縮技術の組み合わせは、個別に適用する場合よりも、より優れた圧縮-精度トレードオフを達成できるか？
• RQ2 低ランク＋プルーニング、量子化＋プルーニング といった特定の圧縮技術の組み合わせの中で、特定のニューラルネットワークアーキテクチャに対して最も優れた性能を発揮するのはどれか？
• RQ3 圧縮の加法的組み合わせにより、ベースライン手法と比較して、より高い圧縮比を維持しつつ、精度を維持または向上できるか？
• RQ4 ResNet、AlexNet、VGG といった異なるモデルアーキテクチャにおいて、組み合わせ圧縮の性能はどのように変化するか？

主な発見

• 低ランク近似と1ビット量子化、プルーニングを組み合わせることで、AlexNet や ResNet を1ウェイトあたり1ビットに圧縮しても精度に劣化が生じず、Jetson Nano では最大72.15倍の圧縮比を達成した。
• VGG ネットワークでは、低ランクとプルーニングを量子化と組み合わせた場合、量子化単体よりも優れた結果を示し、L₃ モデルバリアントでは90.4倍の圧縮比を達成した。
• オリジナルの Caffe-AlexNet と比較して、Jetson Nano の GPU では7.33倍、CPU では3.93倍の高速化を達成し、モデルサイズはわずか3.7 MB にまで削減された。
• 実行時間の測定結果から、組み合わせ圧縮手法は L₃ モデルの推論時間を CPU で44.80 ms、GPU で6.72 ms まで短縮し、両方の面でベースラインモデルを上回った。
• 加法的組み合わせフレームワークにより、複数の圧縮多様体の表現力の組み合わせによって、損失なしにより多くの重み行列が圧縮可能となった。
• 最適な圧縮戦略はアーキテクチャに強く依存する：ResNet や AlexNet は1ビット量子化とプルーニングの組み合わせが最も効果的であり、VGG は低ランクとプルーニングの組み合わせがより優れた性能を発揮した。