[論文レビュー] Attention-Based Guided Structured Sparsity of Deep Neural Networks

Amirsina Torfi, Rouzbeh A. Shirvani+2 more|arXiv (Cornell University)|Feb 13, 2018

Advanced Neural Network Applications参考文献 12被引用数 13

ひとこと要約

本稿では、グループ分散損失を用いてアクティブなニューロンを維持することで、重要な情報ボトルネックを保持しつつ、深層ニューラルネットワークにおけるグループスパarsityを強制する注目ベースの手法であるガイドド構造的スパarsity（GSS）を提案する。CIFAR-10において90%のスパarsityで、最良のベースラインより6%の精度向上を達成し、ガイドなしのプルーニング手法と比較して精度低下を2.6倍小さくした。

ABSTRACT

Network pruning is aimed at imposing sparsity in a neural network architecture by increasing the portion of zero-valued weights for reducing its size regarding energy-efficiency consideration and increasing evaluation speed. In most of the conducted research efforts, the sparsity is enforced for network pruning without any attention to the internal network characteristics such as unbalanced outputs of the neurons or more specifically the distribution of the weights and outputs of the neurons. That may cause severe accuracy drop due to uncontrolled sparsity. In this work, we propose an attention mechanism that simultaneously controls the sparsity intensity and supervised network pruning by keeping important information bottlenecks of the network to be active. On CIFAR-10, the proposed method outperforms the best baseline method by 6% and reduced the accuracy drop by 2.6x at the same level of sparsity.

研究の動機と目的

• ネットワークプルーニングにおける制御不能なスパarsityが、パrameterが少ないモデルで深刻な精度低下を引き起こす問題に対処すること。
• プルーニング中にアクティブなニューロンのサブセットを維持することで、重要な情報ボトルネックを保持する手法を開発すること。
• 統一的でレイヤーに依存しないメカニズムを用いて、畳み込み層および全結合層の両方で構造的スパarsityを実現すること。
• 微分可能で注目ベースの正則化を提供し、精度の劣化を最小限に抑えるようにスパarsityの強制を誘導すること。

提案手法

• 本手法は、ソフトマックス損失、ℓ₂正則化、グループスパarsity損失（Lgs）、およびグループ分散損失（Lgv）を組み合わせた複合損失関数を導入する。
• グループスパarsityは畳み込み層ではチャネルごと、全結合層ではニューロンごとに強制され、全フィルターやニューロンの構造的プルーニングが可能になる。
• グループ分散損失（Lgv）は、大部分のグループがゼロに近いが、少数のグループが顕著に大きい重み分布の歪みを促進し、重要情報パスウェイの維持に寄与する。
• 損失関数はグループ数で正規化され、訓練の安定性を確保するとともに、レイヤー間での一貫性あるスパarsity制御を実現する。
• 注目メカニズムは、変動が大きくアクティブなグループに重点を置くことで、スパarsity強度を動的に制御し、重要な特徴の過剰なプルーニングを防ぐ。
• 本手法は任意のレイヤー種別と互換性があり、アーキテクチャの変更なしに標準的なトレーニングパイプラインにスムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムは、重要な情報ボトルネックを保持することで、深層ニューラルネットワークにおける構造的スパarsityを改善できるか？
• RQ2 グループ分散損失を用いたガイド付きスパarsityは、標準的な構造的スパarsityと比較して、精度とスパarsityのトレードオフにおいてどのように異なるか？
• RQ3 高スパarsityレベルでのプルーニングにおいて、本手法は精度低下をどの程度小さくできるか？
• RQ4 提案手法は畳み込み層および全結合層の両方に対して、一貫したパフォーマンスを発揮して効果的に適用可能か？

主な発見

• CIFAR-10において90%のスパarsityで、本手法は誤差率16.13%を達成し、最良のベースライン（18.71%）を6ポイント上回った。
• 同じスパarsityレベルで、ガイドなしプルーニング手法と比較して精度低下を2.6倍小さくし、より高いロバストネスを示した。
• MNISTにおいて90%のスパarsityで、本手法はテスト誤差1.21%を達成し、次に優れた手法（1.43%）を0.22ポイント上回った。
• グループ分散損失は、高マグニチュードの重みグループのサブセットを効果的に維持し、プルーニング中も情報ボトルネックが活性のまま保たれることを確実にした。
• 本手法は畳み込み層および全結合層の両方で一貫したパフォーマンスを示し、一般化可能性を確認した。
• 高スパarsityレベルにおいて、本手法はすべてのベースラインと比較して優れた精度保持を示した。図2に示す。