[論文レビュー] SiPPing Neural Networks: Sensitivity-informed Provable Pruning of Neural Networks

Cenk Baykal, Lucas Liebenwein+3 more|arXiv (Cornell University)|Oct 11, 2019

Advanced Neural Network Applications参考文献 49被引用数 15

ひとこと要約

この論文では、感度に基づく重要度サンプリングを用いてニューラルネットワークのスパarsity化を実現する、理論的に正確でデータに依存するプルーニングフレームワークであるSiPPを紹介する。小さなデータバッチを用いてパラメータプルーニングをガイドすることで（適応的サンプリングまたは決定的選択を介して）、SiPPは強力な理論的保証を達成し、反復的およびワンショットの両方の設定を含む、多様なアーキテクチャーやプルーニングパイプラインにおいて、一貫してベースラインを上回る性能を発揮する。

ABSTRACT

We introduce a pruning algorithm that provably sparsifies the parameters of a trained model in a way that approximately preserves the model's predictive accuracy. Our algorithm uses a small batch of input points to construct a data-informed importance sampling distribution over the network's parameters, and adaptively mixes a sampling-based and deterministic pruning procedure to discard redundant weights. Our pruning method is simultaneously computationally efficient, provably accurate, and broadly applicable to various network architectures and data distributions. Our empirical comparisons show that our algorithm reliably generates highly compressed networks that incur minimal loss in performance relative to that of the original network. We present experimental results that demonstrate our algorithm's potential to unearth essential network connections that can be trained successfully in isolation, which may be of independent interest.

研究の動機と目的

• プルーニング後のモデル精度に関する形式的な境界がない既存のデータに依存するプルーニング手法の欠如に取り組む。これらはしばしばヒューリスティックに依存しており、精度に関する形式的な保証がない。
• 計算的に効率的で、さまざまなネットワークアーキテクチャ（FNNs、CNNs、RNNs）に広く適用可能であり、ネットワークのトレーニング状態にかかわらず理論的に正確であるプルーニングフレームワークを開発する。
• 深層ニューラルネットワークのための新しい圧縮境界を確立し、一般化理論に情報を与え、プルーニングのメカニズムに関する理論的洞察を提供する。
• 一貫した性能を確保することで、標準的なプルーニング・リトレインパイプラインへの信頼できる統合を可能にする。再訓練スケジュールや初期化戦略の違いに対しても安定した性能を発揮する。
• 低データ量またはワンショットプルーニングの状況でも高い精度を維持できる即席のソリューションを提供する。ここでは、既存の手法がしばしば失敗する。

提案手法

• 入力データの小さなバッチを用いて、ネットワークパラメータ上のデータに依存する重要度サンプリング分布を構築し、各重みが出力に与える寄与度を定量化する。
• 感度に基づく指標を用いて、ネットワーク内の各パラメータ（エッジ）の重要度をランク付けする。特に、各重みが最終出力に与える影響を焦点にする。
• サンプリングベースと決定的プルーニングを組み合わせたハイブリッドプルーニング戦略を採用する。高重要度の重みのサブセットをサンプリングし、低重要度の重みは決定的にプルーニングする。
• 近似誤差を最小化しつつ、計算効率と理論的誤差境界を維持するように、ニューロンごとのサンプルサイズの割り当てを最適化する。
• 局所的感度に基づいてプルーニング強度を動的に調整する適応的スパース化手順を統合し、異なるネットワーク状態にわたる耐性を確保する。
• プルーニングされたネットワークの出力が、元のモデルからユーザーが定義した誤差マージン内に保たれることを保証する理論的圧縮境界を導出する。これは分布外入力に対しても成立する。

実験結果

リサーチクエスチョン

• RQ1 プルーニング後のモデル精度に関する理論的保証を提供するアルゴリズムを設計可能か？ヒューリスティックな仮定に依存せずに行えるか？
• RQ2 小さなデータバッチを効果的に用いて、パラメータの真の感度を反映する重要度サンプリング分布を構築する方法は何か？
• RQ3 ハイブリッドサンプリング・決定的プルーニング戦略は、純粋なヒューリスティックまたは純粋なサンプリングベースのアプローチに比べ、精度と効率の面でどれほど優れているか？
• RQ4 SiPPの理論的枠組みは、さまざまなアーキテクチャ（例：FNNs、CNNs、RNNs）およびプルーニングパイプライン（反復的 vs. ワンショット）に一般化可能か？
• RQ5 SiPPの理論的正確性は、ランダム初期化や最小限の再訓練を含む多様なトレーニングおよび再訓練環境における一貫した性能を説明できるか？

主な発見

• SiPPは、CIFAR-10 や ImageNet を含む複数のアーキテクチャーやデータセットで、Weight Transfer (WT) や SNIP といった最先端の手法と同等の性能を達成する。
• CIFAR-10 では、90％のスパarsity（スパースネス）という高いプルーニング比であっても、元のモデルと比べてほぼ0％の精度低下（0.5％以内）を維持し、ワンショット設定ではWTを上回る。
• ImageNet におけるResNet18およびResNet101では、90％のプルーニング比でも元のモデルのトップ1テスト精度の1.5％以内を達成し、大規模モデルへのスケーラビリティを示している。
• 反復的プルーニング＋リトレインおよびランダム初期化＋プルーニング＋トレーニングの両方のパイプラインで一貫して高い性能を発揮しており、トレーニングダイナミクスに強く依存しないことを示している。
• 理論的分析により、SiPPは、トレーニング分布外の入力に対しても、圧縮ネットワークの出力に対して理論的誤差境界を保証することが判明した。
• アルゴリズムは2つのハイパーパrameter（δ と α）しか必要とせず、追加のチューニングは不要であるため、実用的な展開においてシンプルで信頼性が高い。