[論文レビュー] GASL: Guided Attention for Sparsity Learning in Deep Neural Networks

Amirsina Torfi, Rouzbeh A. Shirvani+2 more|arXiv (Cornell University)|Jan 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 9

ひとこと要約

本稿では、精度の低下を防ぐために正則化によるばらつきを監視することで、構造的・非構造的なスパarsityを強制する汎用的でアテンションベースの手法、Guided Attention for Sparsity Learning (GASL) を提案する。Cifar-100で48%のスパarsityを達成し、2.91倍の高速化を実現し、ハイパーパrameterの設定にかかわらず頑健な性能を示す。

ABSTRACT

The main goal of network pruning is imposing sparsity on the neural network by increasing the number of parameters with zero value in order to reduce the architecture size and the computational speedup. In most of the previous research works, sparsity is imposed stochastically without considering any prior knowledge of the weights distribution or other internal network characteristics. Enforcing too much sparsity may induce accuracy drop due to the fact that a lot of important elements might have been eliminated. In this paper, we propose Guided Attention for Sparsity Learning (GASL) to achieve (1) model compression by having less number of elements and speed-up; (2) prevent the accuracy drop by supervising the sparsity operation via a guided attention mechanism and (3) introduce a generic mechanism that can be adapted for any type of architecture; Our work is aimed at providing a framework based on interpretable attention mechanisms for imposing structured and non-structured sparsity in deep neural networks. For Cifar-100 experiments, we achieved the state-of-the-art sparsity level and 2.91x speedup with competitive accuracy compared to the best method. For MNIST and LeNet architecture we also achieved the highest sparsity and speedup level.

研究の動機と目的

• 深層ニューラルネットワークにおける過剰なプルーニングによって引き起こされる精度の低下を是正すること。
• 構造的および非構造的スパarsityを両方誘導できる、アーキテクチャに依存しない汎用的手法を開発すること。
• モデルの性能をモニタリングする解釈可能なアテンションメカニズムを用いて、スパarsity学習プロセスを監視すること。
• スパarsity正則化係数への依存度を低くすることで、ハイパーパrameterチューニングへの耐性を高めること。
• 特に70%を超えるような高スパarsityレベルでも、高いモデル精度を維持すること。

提案手法

• プルーニング中にどのニューロンやチャネルを活性化させるかを制御するため、ばらつき正則化を用いたガイド付きアテンションメカニズムを導入する。
• 標準的な分類損失に加え、ばらつきに基づく正則化損失を組み合わせた二重損失目的関数を適用し、スパarsityダイナミクスを制御する。
• 動的スパarsity係数λsと、ばらつき係数α = λv/λsを用いて、プルーニングと性能維持のバランスをとる。
• モジュラーなアテンションモジュールを用いることで、非構造的（重みレベル）および構造的（フィルタ/チャネル/特徴マップレベル）スパarsityの両方に適応する。
• 既存の構造的アテンションフレームワークと統合し、性能を意識したプルーニングのガイダンスを強化する。
• 再訓練を伴う反復的プルーニングを用いて、精度を維持しながらスパarsityを段階的に高める。

実験結果

リサーチクエスチョン

• RQ1 監視付きアテンションメカニズムは、深層ネットワークにおける精度の劣化を防ぐために、スパarsityを効果的に制御できるか？
• RQ2 高スパarsityレベル（例：70%以上）において、GASLは最先端の手法と比較してどのように性能を発揮するか？
• RQ3 提案手法は、特にばらつき正則化係数αに対して頑健であるか？
• RQ4 GASLは、異なるネットワークアーキテクチャおよびスパarsityタイプ（構造的／非構造的）に一般化して適用可能か？
• RQ5 アテンションベースの監視は、モデル精度を犠牲にすることなく、より良い計算上の高速化をもたらすか？

主な発見

• Cifar-100では、GASLは48%のスパarsityを達成し、2.91倍の高速化を実現し、誤差は25.41%にとどまり、ベースラインおよび先行手法を上回った。
• 80%のスパarsityにおいて、GASLは精度の低下を2.23%に抑えた。これは、ℓ1正則化（4.21%）や構造的スパarsity学習（2.81%）を著しく上回った。
• αハイパーパrameterの変動範囲[0.01, 100]において、精度の低下が最小限に抑えられ、チューニングへの感受性が低いことが示された。
• MNISTおよびLeNetにおいて、GASLは比較対象手法と比較して最高のスパarsityと高速化を達成し、その汎用性を確認した。
• アテンションメカニズムが、重要な特徴を保持することで、極めて高いスパarsity下でも安定した性能を示した。
• ばらつき正則化項を追加しても、モデルの複雑さは維持され、パラメータ数は増加しなかった。