[論文レビュー] Ten Lessons We Have Learned in the New "Sparseland": A Short Handbook for Sparse Neural Network Researchers

Shiwei Liu, Zhangyang Wang|arXiv (Cornell University)|Feb 6, 2023

Brain Tumor Detection and Classification被引用数 6

ひとこと要約

この論文は、スパースニューラルネットワーク（SNN）研究者向けの簡潔で実用的なハンドブックを提供し、スパarsityの種類、トレーニングパラダイム、公平な評価に関する一般的な誤解を解き明かしている。密度とスパarsity、プリンティングとスパーストレーニング、静的と動的スパarsityといったトピックに関する10の主要なQ&Aを統合し、再現可能性を高め、SNN研究における誤解を減らすための標準化されたガイダンスを提供している。

ABSTRACT

This article does not propose any novel algorithm or new hardware for sparsity. Instead, it aims to serve the "common good" for the increasingly prosperous Sparse Neural Network (SNN) research community. We attempt to summarize some most common confusions in SNNs, that one may come across in various scenarios such as paper review/rebuttal and talks - many drawn from the authors' own bittersweet experiences! We feel that doing so is meaningful and timely, since the focus of SNN research is notably shifting from traditional pruning to more diverse and profound forms of sparsity before, during, and after training. The intricate relationships between their scopes, assumptions, and approaches lead to misunderstandings, for non-experts or even experts in SNNs. In response, we summarize ten Q\&As of SNNs from many key aspects, including dense vs. sparse, unstructured sparse vs. structured sparse, pruning vs. sparse training, dense-to-sparse training vs. sparse-to-sparse training, static sparsity vs. dynamic sparsity, before-training/during-training vs. post-training sparsity, and many more. We strive to provide proper and generically applicable answers to clarify those confusions to the best extent possible. We hope our summary provides useful general knowledge for people who want to enter and engage with this exciting community; and also provides some "mind of ease" convenience for SNN researchers to explain their work in the right contexts. At the very least (and perhaps as this article's most insignificant target functionality), if you are writing/planning to write a paper or rebuttal in the field of SNNs, we hope some of our answers could help you!

研究の動機と目的

• スパarsityの種類やトレーニングパラダイムの間で重複する用語や曖昧な区別が原因で生じるSNN研究における広範な混乱を解消すること。
• 非構造的と構造的スパarsity、密度からスパarsityへのトレーニングとスパarsityからスパarsityへのトレーニング、および事前・実行中・事後トレーニングのスパarsityといったコアな概念を統一的かつアクセス可能なリファレンスとして明確化すること。
• ベースラインの比較に標準化されたプロトコルを採用することで、タスク、アーキテクチャ、設定をまたいでSNNアルゴリズムを公平かつ厳密に評価することを推進すること。
• SNN手法とその仮定の文脈的適切な説明を提供することで、研究者がより明確な論文や反論を書けるように支援すること。
• 単純なベンチマークから脱却し、多様で挑戦的なタスクとハードウェアに配慮したメトリクスを採用して、SNNのパフォーマンスをより的確に評価するようコミュニティを促すこと。

提案手法

• スパarsityの種類（非構造的 vs. 構造的）、トレーニングフェーズ（トレーニング前、トレーニング中、トレーニング後）、トポロジーの進化（静的 vs. 動的）という軸に沿ってSNN手法を分類すること。
• 密度からスパarsityへのトレーニング（例：反復的マグニチュードプリンティング）とスパarsityからスパarsityへのトレーニング（例：ダイナミックスパーストレーニング、イニシャライゼーション時のプリンティング）を区別し、それらの異なる仮定と計算コストを強調すること。
• ロットリーチ・チケット仮説（LTH）と静的スパーストレーニング（SST）の関係を明確にし、LTHがスパースサブネットワークを発見するが、その構築プロセスはスパarsityからスパarsityではなく、密度からスパarsityであることに注意すること。
• 標準化された評価を推進するため、ベースライン間で一貫した事前学習モデル、ハイパーパramータ、データオーグメンテーション、トレーニングスケジュールを推奨すること。
• CIFAR-10/100にとどまらない多様なベンチマークの使用を推奨し、視覚およびNLPタスクを含め、リアルタイムスループットやレイテンシなどのハードウェアに配慮したメトリクスを組み込むこと。
• 複数のランダムシード（3〜5）からの標準偏差を報告することで、統計的信頼性と再現可能性を確保する必要があることを強調すること。

Figure 1: Neuron Pruning v.s. Weight Pruning on Fully-Connected Networks. The green color indicates being pruned. Neuron pruning results in width decrease while weight pruning results in sparser connection but no change in width .

実験結果

リサーチクエスチョン

• RQ1 非構造的スパarsityと構造的スパarsityは、モデル効率性とハードウェアサポートの観点でどのように異なるか？
• RQ2 密度からスパarsityへのトレーニングとスパarsityからスパarsityへのトレーニングの違いは何か？ そして、この区別がパフォーマンスとリソース使用にどのように影響するのか？
• RQ3 スパarsityからスパarsityへのトレーニング手法をLTHと直接比較するのはなぜ誤解を招くのか？ また、LTHは評価においてどのように公平に位置づけられるべきか？
• RQ4 SNNの比較において重要な混同要因は何か？ そして、ベンチマークでそれらをどのように制御できるか？
• RQ5 研究者は、多様なタスクとハードウェアプラットフォームをまたいでSNNアルゴリズムの公平で意味のある評価をどのように保証できるか？

主な発見

• LTHは、最終的な出力がトレーニング可能なスパースサブネットワークであるものの、事前学習と反復的プリンティングに依存しているため、密度からスパarsityへの方法として理解するのが最適である。
• ダイナミックスパーストレーニング（DST）とイニシャライゼーション時のプリンティング（PaI）はともにスパarsityからスパarsityの方法であるが、DSTはトレーニング中にスパースマスクを動的に更新するのに対し、PaIは初期化時に固定された勾配ベースのマスクを使用する。
• 事前学習、ハイパーパramータ、またはトレーニング時間の制御がなければ、SNN手法の比較は誤った結論を導く可能性があり、混同変数がパフォーマンスに大きな影響を与えることがある。
• CIFAR-10/100のような小さな古くなったデータセットのみを評価に使用するのは、意味のある結論を導くには不十分である。なぜなら、すべてのSNN手法がそれらで同様に性能を発揮するからである。
• リアルタイムスループットやレイテンシといったハードウェアに配慮したメトリクスは、実用的効率を評価する上で不可欠であり、正確性やFLOPsとともに報告すべきである。
• 3〜5のランダムシードからの標準偏差を報告することは、SNN研究における統計的信頼性と再現可能性を確立するために不可欠である。