[論文レビュー] Pruning via Iterative Ranking of Sensitivity Statistics

Stijn Verdenius, Maarten Stol+1 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning参考文献 72被引用数 13

ひとこと要約

この論文では、訓練前においてSNIPの感度基準を繰り返し小さなステップで適用する新しい prune 法であるSNIP-itを紹介している。この手法は、複雑な訓練スケジュールを必要とせず、高スパarsity領域における性能と耐性を著しく向上させる。さらに、SNAP-itとして構造的pruneに応用し、非構造的および構造的pruneの両方で最先端のスパarsity-精度トレードオフを達成している。

ABSTRACT

With the introduction of SNIP [arXiv:1810.02340v2], it has been demonstrated that modern neural networks can effectively be pruned before training. Yet, its sensitivity criterion has since been criticized for not propagating training signal properly or even disconnecting layers. As a remedy, GraSP [arXiv:2002.07376v1] was introduced, compromising on simplicity. However, in this work we show that by applying the sensitivity criterion iteratively in smaller steps - still before training - we can improve its performance without difficult implementation. As such, we introduce 'SNIP-it'. We then demonstrate how it can be applied for both structured and unstructured pruning, before and/or during training, therewith achieving state-of-the-art sparsity-performance trade-offs. That is, while already providing the computational benefits of pruning in the training process from the start. Furthermore, we evaluate our methods on robustness to overfitting, disconnection and adversarial attacks as well.

研究の動機と目的

• SNIPの感度基準に起因する、高スパarsity領域における劣悪な勾配伝播と層の切断問題を是正すること。
• 事前学習や複雑な訓練スケジュールを必要とせず、ロットリート・チケットスタイルのpruneの性能と耐性を向上させること。
• 感度に基づくpruneアプローチを構造的pruneに拡張し、初期化段階から効率的なスパースな訓練を可能にすること。
• 過学習、切断、および敵対的攻撃といった複数の耐性次元において、手法の評価を行うこと。

提案手法

• SNIP-itは、訓練前においてSNIPの感度基準を小さなpruneステップで繰り返し適用し、段階的に感度の低い重みを削除する。
• 感度基準は、1バッチ分の重み勾配と活性化の積を計算し、パラメータの重要度を順位付けする。
• 各イテレーションで、感度が最も低い少数の重みがpruneされ、勾配の流れが保たれ、切断リスクが低減される。
• 個々の重みまたは全体のフィルタ/チャネルに同じ段階的順位付けを適用することで、非構造的および構造的pruneの両方をサポートする。
• SNAP-itは、フィルターやチャネル全体の感度に基づいて順位付けすることで、SNIP-itを構造的pruneに拡張し、初期化段階から構造的スパarsityを実現する。
• 事前学習、微調整、または複雑なハイパーパramータチューニングを一切必要とせず、シンプルさを保ちつつ性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 SNIP感度基準の繰り返し適用は、高スパarsity領域におけるprune性能と耐性を向上させ得るか？
• RQ2 段階的pruneは、一回のステップで実行するSNIPに見られる勾配伝播および層の切断問題を緩和するか？
• RQ3 同じ感度に基づく順位付けを、非構造的および構造的スパarsityの両方の構造的pruneに効果的に拡張できるか？
• RQ4 SNIP-itは、GraSPや他の最先端prune手法と比較して、精度とスパarsityの面で優れているか？
• RQ5 SNIP-itは、過学習、切断、および敵対的攻撃に対するモデルの耐性にどのような影響を与えるか？

主な発見

• SNIP-itは、複数のデータセットおよびアーキテクチャで最先端のスパarsity-精度トレードオフを達成し、高スパarsity領域においてSNIPおよびGraSPを上回る性能を示した。
• 感度基準の繰り返し適用により、一回のステップで実行するSNIPと比較して、過学習および敵対的攻撃に対する耐性が著しく向上した。
• SNAP-itは、初期化段階から構造的pruneを可能にし、競争力のある性能を発揮した。これにより、事前学習や複雑な訓練スケジュールの必要がなくなった。
• 95%のスパarsityであっても高い精度を維持でき、優れた一般化性能と安定性を示した。
• SNIP-itは、勾配伝播が改善され、層の切断が減少した。これは、一回のステップでの削除ではなく段階的pruneの利点を裏付けた。
• 訓練の初期段階からpruneの計算的利点を享受でき、後処理ステップなしに効率的な推論を可能にした。