[論文レビュー] A flexible, extensible software framework for model compression based on the LC algorithm

Yerlan Idelbayev, Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|May 15, 2020

Neural Networks and Applications参考文献 45被引用数 5

ひとこと要約

本論文では、反復的な学習（L）と圧縮（C）ステップの入れ替えに基づく学習圧縮（LC）アルゴリズムに裏付けられた、柔軟で拡張可能なソフトウェアフレームワークを提示する。このフレームワークは、ニューラルネットワークの異なる層に、プルーニング、量子化、低ランク分解、およびそれらの組み合わせといった混合圧縮技術を適用可能にし、最小限のユーザー作業と、元のモデルを訓練するのと同等の実行時間で、競争力のある精度と圧縮比を達成する。

ABSTRACT

We propose a software framework based on the ideas of the Learning-Compression (LC) algorithm, that allows a user to compress a neural network or other machine learning model using different compression schemes with minimal effort. Currently, the supported compressions include pruning, quantization, low-rank methods (including automatically learning the layer ranks), and combinations of those, and the user can choose different compression types for different parts of a neural network. The LC algorithm alternates two types of steps until convergence: a learning (L) step, which trains a model on a dataset (using an algorithm such as SGD); and a compression (C) step, which compresses the model parameters (using a compression scheme such as low-rank or quantization). This decoupling of the "machine learning" aspect from the "signal compression" aspect means that changing the model or the compression type amounts to calling the corresponding subroutine in the L or C step, respectively. The library fully supports this by design, which makes it flexible and extensible. This does not come at the expense of performance: the runtime needed to compress a model is comparable to that of training the model in the first place; and the compressed model is competitive in terms of prediction accuracy and compression ratio with other algorithms (which are often specialized for specific models or compression schemes). The library is written in Python and PyTorch and available in Github.

研究の動機と目的

• 深層ニューラルネットワークに多様なモデル圧縮技術を適用するための統合的でモジュラーなフレームワークの不足に対処すること。
• 専門知識のないユーザーが、モデルの異なる部分にプルーニング、量子化、低ランク分解といった複数の圧縮スキームを簡単に適用・比較できるようにすること。
• 学習と圧縮プロセスを分離し、既存のトレーニングおよび圧縮アルゴリズムをプラグアンドプレイで統合可能にする。
• 個々の圧縮戦略およびそれらの組み合わせをサポートする、単一で拡張可能なソフトウェアライブラリを提供し、収束保証を備えること。
• 混合圧縮戦略の実験の複雑さを軽減し、統一的で設定可能なインターフェースを提供すること。

提案手法

• フレームワークは、学習（L）ステップ（SGDや類似最適化手法を用いたモデルの訓練）と圧縮（C）ステップ（モデルパラメータに圧縮スキームを適用）を反復的に交互に実行するLCアルゴリズムを実装している。
• Lステップでは、合成損失 $ L(\mathbf{w}) + \frac{\mu}{2} \|\mathbf{w} - \boldsymbol{\Delta}(\boldsymbol{\Theta})\|^{2} $ を最小化する。ここで $ \mu $ は、データへの適合性と圧縮表現への準拠の間のトレードオフを制御する。
• Cステップでは、k-means（量子化用）、SVD（低ランク用）、またはマグニチュードベースのプルーニングといった圧縮スキームを用いて、現在の重み $ \mathbf{w} $ を低次元空間または離散空間 $ \boldsymbol{\Delta}(\boldsymbol{\Theta}) $ に射影する。
• フレームワークは、異なる層に異なる圧縮タイプを個別に適用可能であり、細粒度で非均質な圧縮戦略を実現できる。
• 反復ごとに徐々に圧縮を強化するため、指数関数的増加の $ \mu $ スケジュール $ \mu_k = \mu_0 \times a^k $ を用い、$ a \in [1.1, 1.4] $ とする。
• ライブラリはPythonおよびPyTorchで実装されており、完全にモジュラーである。モデルや圧縮手法を変更するには、LステップまたはCステップ用の新しいサブルーチンを挿入するのみである。

実験結果

リサーチクエスチョン

• RQ1 一貫したアルゴリズムパイプライン内で、プルーニング、量子化、低ランク分解といった多様で異種のモデル圧縮技術を効率的にサポートできるか？
• RQ2 学習と圧縮ステップの分離により、性能を損なわずに柔軟でモジュラーかつ拡張可能な圧縮が可能になる仕組みは何か？
• RQ3 ニューラルネットワークの異なる層に複数の圧縮スキームを組み合わせた場合、LCアルゴリズムがどの程度の高い圧縮比と予測精度を達成できるか？
• RQ4 収束と性能を保証するための主要なハイパーパramータ設定（例：$ \mu $ スケジュール、学習率の減衰）は何か？
• RQ5 同様のモデルおよび圧縮タイプに対して、このフレームワークの実行時間と精度は、専用のモノリシック圧縮ツールと比べてどうなるか？

主な発見

• 汎用的で拡張可能なにもかかわらず、特化型アルゴリズムと同等の圧縮比と予測精度を達成した。
• LCフレームワークを用いたモデルの圧縮に要する実行時間は、元のモデルを再訓練するのと同等の時間であった。
• 本フレームワークは、混合圧縮戦略を効果的にサポートしており、表6に示すように、一部の層に量子化、他の層にプルーニング、さらに他の層に低ランク分解を適用する例が確認された。
• LeNet300アーキテクチャでは、異なる層に異なる圧縮タイプ（例：量子化、プルーニング、低ランク）を適用した結果、テスト誤差が2.18%にまで低下し、非均質圧縮の有効性が示された。
• 指数関数的 $ \mu $-スケジュール $ \mu_k = 9 \times 10^{-5} \times 1.1^k $（低ランク用には $ 1.4^k $）を用いることで、反復全体にわたり収束性と効果的な圧縮が保証された。
• フレームワークのモジュラー設計により、Cステップで二次的歪み損失を正しく最小化する圧縮ルーチンを実装すれば、新しい圧縮スキームを最小限のコード変更で統合可能である。