[論文レビュー] A Gradient Flow Framework For Analyzing Network Pruning

Ekdeep Singh Lubana, Robert P. Dick|arXiv (Cornell University)|May 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 4

ひとこと要約

この論文は、訓練中のモデルの進化に与えるパラメータノルムの影響を分析することで、ネットワーク pruning 方法を統一する勾配フロー枠組みを導入する。この分析により、マグニチュードベースの pruning が収束を加速すること、損失保存型 pruning が一次元のダイナミクスを維持すること、勾配ノルムベースの pruning が二次元のダイナミクスを破壊することを明らかにし、理論的懸念にもかかわらず初期 pruning がなぜうまくいくのかを説明する。

ABSTRACT

Recent network pruning methods focus on pruning models early-on in training. To estimate the impact of removing a parameter, these methods use importance measures that were originally designed to prune trained models. Despite lacking justification for their use early-on in training, such measures result in surprisingly low accuracy loss. To better explain this behavior, we develop a general framework that uses gradient flow to unify state-of-the-art importance measures through the norm of model parameters. We use this framework to determine the relationship between pruning measures and evolution of model parameters, establishing several results related to pruning models early-on in training: (i) magnitude-based pruning removes parameters that contribute least to reduction in loss, resulting in models that converge faster than magnitude-agnostic methods; (ii) loss-preservation based pruning preserves first-order model evolution dynamics and is therefore appropriate for pruning minimally trained models; and (iii) gradient-norm based pruning affects second-order model evolution dynamics, such that increasing gradient norm via pruning can produce poorly performing models. We validate our claims on several VGG-13, MobileNet-V1, and ResNet-56 models trained on CIFAR-10/CIFAR-100.

研究の動機と目的

• 完全に訓練されたモデルを想定して設計されたマグニチュードベースの pruning やその他の重要度測定値が、訓練の初期段階で適用されてもなぜうまくいくのかを理解すること。
• 勾配フローとパラメータノルムの進化に基づく共通の理論的枠組みを通じて、既存の pruning 方法を統一すること。
• 異なる pruning 策略がモデルパラメータの進化における一次元および二次元ダイナミクスに与える影響を分析すること。
• VGG-13、MobileNet-V1、ResNet-56 といった標準アーキテクチャを CIFAR-10 および CIFAR-100 で訓練した上で、フレームワークの予測を検証すること。
• 特に精度損失を最小限に抑えることの理論的根拠を提供すること。

提案手法

• フレームワークは、ネットワーク訓練を連続的な勾配フローとしてモデル化し、パラメータノルムの時間的変化を追跡する。
• マグニチュード、損失保存型、勾配ノルムの各 pruning 準拠を、モデルパラメータのノルムおよびその微分を通じて表現する。
• 理論的分析により、pruning 方法がモデル進化のダイナミクス（一次元：損失の低減、二次元：損失関数の曲率）とどのように関連するかを結びつける。
• 微分方程式を用いてパラメータの進化をモデル化し、pruning がモデルの軌道を保存するか歪めるかの条件を導出する。
• VGG-13、MobileNet-V1、ResNet-56 を CIFAR-10 および CIFAR-100 で訓練した上で、精度と収束速度を比較して実証的検証を行う。
• 損失ダイナミクスを保存する（損失保存型）と曲率を変化させる（勾配ノルムベース）pruning の区別を行い、それらをモデル性能と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 完全に訓練されたモデルを想定して設計されたマグニチュードベースの pruning が、訓練の初期段階で適用されても、なぜ精度損失が小さいのか？
• RQ2 異なる pruning 準拠が、モデルパラメータの進化における一次元および二次元ダイナミクスとどのように関係しているのか？
• RQ3 pruning がモデルの訓練軌道および一般化能力を保存するための条件は何か？
• RQ4 勾配ノルムに基づく pruning は、モデルの収束性と性能にどのように影響を与えるか？
• RQ5 パラメータノルムの進化を通じて、多様な pruning 方法の挙動を統一的に説明できるフレームワークは存在するか？

主な発見

• マグニチュードベースの pruning は、損失低減に寄与が最小限のパラメータを削除するため、マグニチュードに依存しない方法に比べて収束が速くなる。
• 損失保存型 pruning は一次元のモデル進化ダイナミクスを維持するため、最小限に訓練されたモデルの pruning に適している。
• 勾配ノルムベースの pruning は二次元ダイナミクスに影響を与え、勾配ノルムを増加させることでモデル性能が低下する可能性がある。
• 提示された勾配フロー枠組みは、パラメータノルムの進化を通じて、複数の pruning 方法の挙動を統一的に説明し、成功裏に統合した。
• VGG-13、MobileNet-V1、ResNet-56 における実証的結果から、損失保存型 pruning が精度を維持する一方で、マグニチュードベースの pruning が収束を加速することが確認された。
• フレームワークは、元々初期訓練を想定して設計されていない重要度測定値を用いても、初期 pruning の実験的成功を理論的に裏付けるものである。