[論文レビュー] Sparse Training via Boosting Pruning Plasticity with Neuroregeneration

Shiwei Liu, Tianlong Chen+8 more|arXiv (Cornell University)|Jun 19, 2021

Advanced Memory and Neural Computing参考文献 76被引用数 13

ひとこと要約

この論文は、Pruning Plasticity（pruning plasticity）を向上させるために、ゼロコスト神経再生（zero-cost neuroregeneration）を組み込んだ、GraNetと呼ばれる新しいスパーストレーニング手法を紹介する。この手法では、 pruning された接続を新しいものに置き換えることで、トレーニング中にスパース構造を柔軟に再構築できる。GraNet は、ResNet-50 を用いた ImageNet における、dense-to-sparse および sparse-to-sparse トレーニングの両方で、トレーニング時間を延長せずに最先端の性能を達成する。

ABSTRACT

Works on lottery ticket hypothesis (LTH) and single-shot network pruning (SNIP) have raised a lot of attention currently on post-training pruning (iterative magnitude pruning), and before-training pruning (pruning at initialization). The former method suffers from an extremely large computation cost and the latter usually struggles with insufficient performance. In comparison, during-training pruning, a class of pruning methods that simultaneously enjoys the training/inference efficiency and the comparable performance, temporarily, has been less explored. To better understand during-training pruning, we quantitatively study the effect of pruning throughout training from the perspective of pruning plasticity (the ability of the pruned networks to recover the original performance). Pruning plasticity can help explain several other empirical observations about neural network pruning in literature. We further find that pruning plasticity can be substantially improved by injecting a brain-inspired mechanism called neuroregeneration, i.e., to regenerate the same number of connections as pruned. We design a novel gradual magnitude pruning (GMP) method, named gradual pruning with zero-cost neuroregeneration ( extbf{GraNet}), that advances state of the art. Perhaps most impressively, its sparse-to-sparse version for the first time boosts the sparse-to-sparse training performance over various dense-to-sparse methods with ResNet-50 on ImageNet without extending the training time. We release all codes in https://github.com/Shiweiliuiiiiiii/GraNet.

研究の動機と目的

• トレーニング中における pruning の性能ギャップを、Pruning Plasticity の理解と向上によって解決すること。
• 生物学的神経修復にインspiredされた神経再生（neuroregeneration）が、pruned ネットワークの性能回復能力を向上させることを検証すること。
• 計算コストを増加させずに、パラメータ効率の良い方法を提供し、高性能なスパーストレーニングを実現すること。
• dense-to-sparse および sparse-to-sparse トレーニングの両制度で、最先端の結果を達成すること。
• トレーニング時間を延長することで、ロットリート・チケット再初期化や学習率リワインドといった再初期化技術を上回ることを示すこと。

提案手法

• 各 pruning ステップの後にゼロコスト神経再生を統合する新しい段階的マグニチュードプルーニング（GMP）手法である GraNet を提案する。
• プルーニングされた接続と同じ数の再生接続を、同じ初期ランダム重みを用いて挿入することで、ネットワーク容量を回復する。
• トレーニング中に段階的・反復的にプルーニングと再生を適用し、スパarsity を維持しながら、Pruning Plasticity を向上させる。
• 各ステップで重要度が低い重みを特定し、削除するマグニチュードベースのプルーニングを適用する。
• 各ステップごとの固定プルーニングレートを採用し、再初期化や学習率リワインドを避ける。代わりに、延長されたトレーニングによって性能向上を実現する。
• 初期のFLOPオーバーヘッドを相殺するため、後段階でFLOPsを削減するトレーニングプロトコルを設計する。

実験結果

リサーチクエスチョン

• RQ1 プルーニングレートと学習率が変化するとき、元の性能に回復可能な能力（Pruning Plasticity）はどのように変化するか？
• RQ2 脳にインspiredされた神経再生メカニズムが、トレーニング中の Pruning Plasticity を向上させることができるか？
• RQ3 GraNet におけるゼロコスト神経再生は、標準的な GMP よりも優れたサブネットワーク発見を可能にするか？
• RQ4 GraNet は、トレーニング時間を延長せずに、dense-to-sparse および sparse-to-sparse トレーニングの両方で最先端の性能を達成できるか？
• RQ5 ロットリート・チケット再初期化や学習率リワインドといった再初期化技術が、GraNet の性能をさらに向上させることができるか？

主な発見

• 学習率の2回目の低下後にプルーニングが行われると、Pruning Plasticity が著しく低下する。これは、早期のプルーニングが最適である理由を説明する。
• 低プルーニングレート（例：0.2）は、高レートよりも優れた回復を可能にし、イテレーティブマグニチュードプルーニングの成功と整合する。
• GraNet における ResNet-50 におけるスパース・トゥ・スパーストレーニングは、90% のスパarsity でトップ-1精度95.09% を達成し、トレーニング時間を延長せずに、dense-to-sparse のベースラインを上回る。
• GraNet のサブネットワークをランダムに再初期化すると、顕著に低い性能が得られる。これは、接続パターンと重みの両方が学習されていることを確認する。
• トレーニング時間を2倍に延長することで、GraNet の性能向上は、ロットリート・チケット再初期化や学習率リワインドといった再初期化技術を上回る。
• CIFAR-100 における GraNet の98%スパarsityでのトップ-1精度73.63% は、ベースラインのGMPや他のSOTA手法を上回り、高スパarsity下でも高いロバスト性を示す。