[論文レビュー] Connectivity Matters: Neural Network Pruning Through the Lens of Effective Sparsity

Artem Vysogorets, Julia Kempe|arXiv (Cornell University)|Jul 5, 2021

Model Reduction and Neural Networks被引用数 9

ひとこと要約

本論文は、直接に削除された接続だけでなく、入力/出力の流れから分離されたために無効化された接続も考慮することで、ニューラルネットワークの pruning のより正確な指標である有効スパarsityを導入する。多くの pruning アルゴリズムが直接スパarsityでは優れているように見えるが、特に高圧縮領域では有効スパarsityではその優位性を失い、低コストな手法を提案することで有効スパarsityを達成可能にし、適切なレイヤーワイズの割り当てを施したランダム pruning が、より洗練された手法を上回ることを再確認する。

ABSTRACT

Neural network pruning is a fruitful area of research with surging interest in high sparsity regimes. Benchmarking in this domain heavily relies on faithful representation of the sparsity of subnetworks, which has been traditionally computed as the fraction of removed connections (direct sparsity). This definition, however, fails to recognize unpruned parameters that detached from input or output layers of underlying subnetworks, potentially underestimating actual effective sparsity: the fraction of inactivated connections. While this effect might be negligible for moderately pruned networks (up to 10-100 compression rates), we find that it plays an increasing role for thinner subnetworks, greatly distorting comparison between different pruning algorithms. For example, we show that effective compression of a randomly pruned LeNet-300-100 can be orders of magnitude larger than its direct counterpart, while no discrepancy is ever observed when using SynFlow for pruning [Tanaka et al., 2020]. In this work, we adopt the lens of effective sparsity to reevaluate several recent pruning algorithms on common benchmark architectures (e.g., LeNet-300-100, VGG-19, ResNet-18) and discover that their absolute and relative performance changes dramatically in this new and more appropriate framework. To aim for effective, rather than direct, sparsity, we develop a low-cost extension to most pruning algorithms. Further, equipped with effective sparsity as a reference frame, we partially reconfirm that random pruning with appropriate sparsity allocation across layers performs as well or better than more sophisticated algorithms for pruning at initialization [Su et al., 2020]. In response to this observation, using a simple analogy of pressure distribution in coupled cylinders from physics, we design novel layerwise sparsity quotas that outperform all existing baselines in the context of random pruning.

研究の動機と目的

• 直接スパarsityを用いた標準的な pruning ベンチマークの欠陥を是正すること。この欠陥は、構造的分離によって無効化された接続を無視している点に起因する。
• 高圧縮領域において直接スパarsityが実際のスパarsityを著しく低く見積もることで、pruning アルゴリズム間の比較が歪められることを示すこと。
• 既存の pruning アルゴリズムに最小限の計算コストで統合可能な、有効スパarsityを標的にするための簡単な拡張手法を提案すること。
• 有効スパarsityの枠組みで最近の pruning アルゴリズムを再評価し、性能順位が著しく変化することを明らかにすること。
• 適切なレイヤーワイズのスパarsity配分を施したランダム pruning が、有効スパarsityの文脈で、より洗練された手法を上回ることを示すこと。

提案手法

• 有効スパarsityを、入力に対してネットワーク出力に影響を与えない（直接削除されたか、構造的に分離されたかに関わらず）無効化された接続の割合として定義する。
• 多くの pruning 方法に適用可能な、低コストなアルゴリズム的拡張を提案し、計算フローに影響を与えない接続のみを削除するように保証する。
• 計算グラフ解析を用いて、pruning 後に無効化されたエッジを特定・数える。明示的に削除されたものとは区別する。
• 連結されたシリンダー内の圧力分布の熱力学的アナロジーを用い、ランダム pruning の文脈で性能を向上させる新しいレイヤーワイズのスパarsity配分を設計する。
• 標準ベンチマーク（LeNet, VGG, ResNet）とデータセット（MNIST, CIFAR, TinyImageNet, ImageNet）を用い、直接スパarsityと有効スパarsityの両方の指標で、複数の pruning アルゴリズム（例：SynFlow, SNIP, GraSP, ランダム pruning）を実装・評価する。
• アーキテクチャ（LeNet, VGG, ResNet）とデータセット（MNIST, CIFAR, TinyImageNet, ImageNet）の両方で一貫した実験設定を採用し、公平な比較を確保する。

実験結果

リサーチクエスチョン

• RQ1 直接スパarsityと有効スパarsityの乖離が、高圧縮領域におけるニューラルネットワークの pruning アルゴリズムベンチマークにどのように影響するか？
• RQ2 直接スパarsity下で優れた性能を示す pruning アルゴリズムが、有効スパarsity下でもその優位性を維持できるか？
• RQ3 有効スパarsityを評価指標として用いた場合、最適化されたレイヤーワイズのスパarsity配分を施したランダム pruning が、より洗練された pruning アルゴリズムを上回ることができるか？
• RQ4 構造的分離（すなわち、無効化されたニューロン）が、pruned subnetwork の実際の圧縮効率に及ぼす影響は何か？
• RQ5 既存の pruning アルゴリズムを、直接スパarsityではなく有効スパarsityを標的にするように、最小限の計算コストでどのように変更できるか？

主な発見

• 特に極端な圧縮レベルでは、ランダムに pruning されたネットワークにおいて有効スパarsityは直接スパarsityに対して桁違いに高くなることが判明し、標準的なベンチマークにおける重大な欠陥が明らかになった。
• 直接スパarsity下で最も優れた性能を示す SynFlow は、有効スパarsity下ではその優位性を失い、過去の評価で過大評価されていた可能性がある。
• LeNet-300-100 では、有効圧縮率が直接圧縮率の最大10倍に達する一方で、SynFlow ではそのような乖離は見られない。
• 直接スパarsityと有効スパarsityの差は、アルゴリズムによって顕著に異なる。特にランダム pruning では最大の乖離を示し、性能比較が歪められることになる。
• 熱力学的アナロジーに基づくレイヤーワイズのスパarsity配分は、有効スパarsity下で評価された際、すべての既存のベースラインを上回る性能を示した。
• 高圧縮領域では、有効スパarsityが、適切なレイヤーごとの割り当てを施したランダム pruning が、より洗練されたデータ依存型手法を上回ることを示し、アルゴリズムの優位性に関する従来の仮定を覆した。