[論文レビュー] A Deeper Look at the Layerwise Sparsity of Magnitude-based Pruning.

Jaeho Lee, Sejun Park+3 more|arXiv (Cornell University)|Oct 15, 2020

Advanced Neural Network Applications参考文献 41被引用数 4

ひとこと要約

本稿では、モデル全体のℓ₂歪度を用いて重みの大きさを再スケーリングすることで、ハイパーパramータチューニングを不要にし、層ごとのスパarsityを適応的に決定する、グローバルなマグニチュードベースのプルーニングのための新規重要度スコアであるLayer-Adaptive Magnitude-Based Pruning (LAMP)を提案する。LAMPは、多様なモデルとデータセットにおいて最先端の性能を達成し、接続性に基づくスパarsityを含む既存の手法を上回るが、特に重みリワインド設定ではベースラインが性能を落とすのに対し、LAMPはその影響を受けにくい。

ABSTRACT

Recent discoveries on neural network pruning reveal that, with a carefully chosen layerwise sparsity, a simple magnitude-based pruning achieves state-of-the-art tradeoff between sparsity and performance. However, without a clear consensus on how to choose, the layerwise sparsities are mostly selected algorithm-by-algorithm, often resorting to handcrafted heuristics or an extensive hyperparameter search. To fill this gap, we propose a novel importance score for global pruning, coined layer-adaptive magnitude-based pruning (LAMP) score; the score is a rescaled version of weight magnitude that incorporates the model-level $\ell_2$ distortion incurred by pruning, and does not require any hyperparameter tuning or heavy computation. Under diverse datasets and models, LAMP consistently outperforms popular existing schemes for layerwise sparsity selection. Furthermore, we observe that LAMP continues to outperform baselines even in weight-rewinding setups, while the connectivity-oriented layerwise sparsity (the strongest baseline overall) performs worse than a simple global magnitude-based pruning in this case.

研究の動機と目的

• マグニチュードベースのプルーニングにおける最適な層ごとのスパarsityの選択に関する合意形成の欠如に対処すること。
• プルーニング戦略設計において、手作業で決めたヒューリスティクスや広範なハイパーパramータ探索に依存しないこと。
• グローバルモデルへの影響に基づき、層ごとのスパarsityを適応的に設定する、原理的かつ計算効率の良い重要度スコアを開発すること。
• 重みリワインドを含む多様なトレーニング環境下でも、グローバルマグニチュードプルーニングの性能を向上させること。
• 標準設定では強力であるものの、動的トレーニング環境（例：重みリワインド）では性能を発揮しない接続性ベースのスパarsityが、なぜ動的環境で劣るのかを示すこと。

提案手法

• LAMPは、モデル全体にわたるプルーニングによるℓ₂歪度を考慮した再スケーリングされた重みマグニチュードスコアを導入する。
• 重要度スコアは、重みのマグニチュードに基づき、プルーニングがモデル性能に与える影響を反映する層固有の正規化によって調整される。
• 追加のフォワードパスや勾配計算を必要としないため、計算コストが低減される。
• ハイパーパramータチューニングや検証を経ずに、LAMPスコアから直接層ごとのスパarsityが決定される。
• 全層にわたってグローバルに適用可能であり、一貫性のある性能を実現するエンドツーエンドのプルーニングを可能にする。
• 標準的および重みリワインドトレーニングプロトコルの両方で評価され、耐性の高さが確認される。

実験結果

リサーチクエスチョン

• RQ1 LAMPは、異なるモデルとデータセットにおいて、既存の層ごとのスパarsity選択手法と比較して、精度とスパarsityのトレードオフにおいてどのように異なるか？
• RQ2 重みリワインド環境下でも、LAMPは優れた性能を維持するのか？
• RQ3 なぜ接続性に基づく層ごとのスパarsityは重みリワインド環境では失敗するのに対し、LAMPはその影響を受けにくいのか？
• RQ4 単純でハイパーパramータフリーの重要度スコアが、複雑でチューニングされたベースラインを上回ることができるのか？
• RQ5 モデルレベルのℓ₂歪度は、効果的な層ごとのスパarsity割り当てを導く上で果たす役割は何か？

主な発見

• LAMPは、複数のデータセットとモデルアーキテクチャにおいて、一般的な層ごとのスパarsity選択手法を一貫して上回る。
• 追加のハイパーパramータチューニングや計算コストなしに、最先端の精度-スパarsityトレードオフを達成する。
• 重みリワインド設定では、LAMPは安定した性能を維持するが、接続性に基づくスパarsity手法は著しく性能を落とす。
• 動的トレーニング環境下では、LAMPとベースラインの性能差が拡大し、LAMPの耐性の高さが顕著に現れる。
• LAMPにおけるℓ₂歪度に配慮した再スケーリングは、各層におけるプルーニングの真の影響を的確に捉えており、より良いスパarsity割り当てを可能にする。
• LAMPの成功は、接続性に基づくヒューリスティクスよりも、モデル全体のグローバルな影響を基に層ごとのプルーニングを最適化する方が効果的であることを示している。