[論文レビュー] Robust Pruning at Initialization

Soufiane Hayou, Jean-François Ton+2 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Neural Network Applications参考文献 38被引用数 7

ひとこと要約

本稿では、ネットワーク初期化時における新しいプルーニング手法SBP-SRを提案する。この手法は、再スケーリングと再パラメータ化を活用してエッジ・オブ・カオス（EOC）状態を維持することで、プルーニングされたモデルが依然として学習可能であることを保証する。CIFAR10、CIFAR100、TinyImageNet、ImageNetにおいて、99.5%や99.9%という極めて高いスパarsityレベルですら、SNIPなどの先行ワンショットプルーニング手法を上回る最先端の精度を達成している。

ABSTRACT

Overparameterized Neural Networks (NN) display state-of-the-art performance. However, there is a growing need for smaller, energy-efficient, neural networks tobe able to use machine learning applications on devices with limited computational resources. A popular approach consists of using pruning techniques. While these techniques have traditionally focused on pruning pre-trained NN (LeCun et al.,1990; Hassibi et al., 1993), recent work by Lee et al. (2018) has shown promising results when pruning at initialization. However, for Deep NNs, such procedures remain unsatisfactory as the resulting pruned networks can be difficult to train and, for instance, they do not prevent one layer from being fully pruned. In this paper, we provide a comprehensive theoretical analysis of Magnitude and Gradient based pruning at initialization and training of sparse architectures. This allows us to propose novel principled approaches which we validate experimentally on a variety of NN architectures.

研究の動機と目的

• 初期化時のワンショットプルーニングにおける不安定性、特に全層がプルーニングされて学習不能になる問題に対処すること。
• 深層ネットワークにおいて、エッジ・オブ・カオス（EOC）状態と整合されていない場合に、マグニチュードベースおよび勾配ベースのプルーニングが失敗する理由を理論的に分析すること。
• EOCダイナミクスを維持することで、プルーニング後のネットワークの学習可能性を回復させる原理的な再スケーリングおよび再パラメータ化技術の開発。
• 多様なアーキテクチャとデータセットを用いた実験により、本手法の有効性を検証し、高スパarsityレベルでも優れた性能を示すこと。

提案手法

• 初期化時における重みと勾配の積のマグニチュード、すなわち |W ∂ℒ/∂W| を用いて、不必要な接続を同定・削除する感受性ベースプルーニング（SBP）を提案する。
• プルーニングされた層の分散を調整するリスケーリングテクニックを導入し、ネットワークが再びエッジ・オブ・カオス（EOC）状態に戻るようにすることで、安定した勾配伝搬を確保する。
• ResNetsに対して、爆発的勾配を緩和し、プルーニング後もEOCダイナミクスを維持するための再パラメータ化手法「Stable ResNet」（SR）を提案する。
• ベルヌーイマスクを用いたレイヤーワイズのプルーニング戦略を採用し、共分散構造を体系的に制御することで、サブネットワークがEOC上に保たれるようにする。
• 平均場近似を用いて勾配伝搬を理論的に分析し、プルーニングが学習可能性を保持する条件を導出する。
• ResNet、FFNN、CNNアーキテクチャを対象に、CIFAR10、CIFAR100、TinyImageNet、ImageNetで広範な実験を実施して手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 初期化時のワンショットプルーニングを、深層ネットワークにおけるレイヤーの崩壊や学習不能性に対して頑健にできるか？
• RQ2 全結合および畳み込みネットワークにおける初期化時プルーニングにおいて、エッジ・オブ・カオス（EOC）状態は必須か？
• RQ3 リスケーリングと再パラメータ化により、プルーニングによってEOCから逸脱したネットワークの学習可能性を回復できるか？
• RQ4 任意の初期化から出発しても、EOC上に初期化されたサブネットワークに対して、ロットリート・チケット仮説が成立するか？
• RQ5 SBP-SRは、複数のベンチマークで極めて高いスパarsityレベルでも最先端の性能を達成できるか？

主な発見

• CIFAR10のResNet104において90%のスパarsityで94.69%のテスト精度を達成し、SNIPの93.25%を上回った。
• 99.5%のスパarsityでも、ResNet104で87.47%の精度を維持した一方、SNIPは33.63%に低下した。
• 99.9%のスパarsityでは、ResNet104で72.70%の精度を達成したが、SNIPは10.11%にまで低下した。
• ResNet32では、90%のスパarsityでSBP-SRが92.56%の精度を達成し、SNIPの92.26%をわずかに上回った。
• 理論的分析により、適切なリスケーリングによってプルーニングがEOC状態を維持可能であり、安定した学習が可能であることが確認された。
• 弱いロットリート・チケット仮説が証明された：任意の初期化においてσw > σw,EOCを満たす場合、EOC上に初期化されたサブネットワークが存在する。