[論文レビュー] OptG: Optimizing Gradient-driven Criteria in Network Sparsity

Yuxin Zhang, Mingbao Lin+3 more|arXiv (Cornell University)|Jan 30, 2022

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

OptG は、重みの独立性を仮定するが現実の重み間の相関関係に反する『独立性のパラドックス』を解消することで、勾配駆動型ネットワークスパースネスを最適化する新規手法を提案する。スーパー・マスク学習と、パラドックスに配慮したスーパー・マスク最適化手法を統合し、マスク勾配を蓄積し、スパースネスに適応した学習率を用いることで、特に超高スパースネス条件下で最先端の性能を達成した。例えば、ResNet-50 で 98% のスパースネスにおいて ImageNet で 67.20% のトップ-1精度を達成した。

ABSTRACT

Network sparsity receives popularity mostly due to its capability to reduce the network complexity. Extensive studies excavate gradient-driven sparsity. Typically, these methods are constructed upon premise of weight independence, which however, is contrary to the fact that weights are mutually influenced. Thus, their performance remains to be improved. In this paper, we propose to optimize gradient-driven sparsity (OptG) by solving this independence paradox. Our motive comes from the recent advances in supermask training which shows that high-performing sparse subnetworks can be located by simply updating mask values without modifying any weight. We prove that supermask training is to accumulate the criteria of gradient-driven sparsity for both removed and preserved weights, and it can partly solve the independence paradox. Consequently, OptG integrates supermask training into gradient-driven sparsity, and a novel supermask optimizer is further proposed to comprehensively mitigate the independence paradox. Experiments show that OptG can well surpass many existing state-of-the-art competitors, especially at ultra-high sparsity levels. Our code is available at \url{https://github.com/zyxxmu/OptG}.

研究の動機と目的

• 重み削除が独立性を仮定するが、実際には重み同士が相互に影響し合うという『独立性のパラドックス』を是正すること。
• 一度限りの重み削除に依存する従来の勾配駆動型手法の限界を解明すること。これは、損失変化の推定が不正確になる要因となる。
• スーパー・マスク学習の知見を活用し、重みの相関関係下での真の重み重要度をよりよく近似する手法を開発すること。
• スパースネス進行に応じてマスク学習率を動的に調整する新規のスーパー・マスク最適化手法を提案すること。これにより誤差ギャップを最小化する。
• 特に極端なスパースネスレベルで顕著に性能低下が生じる独立性のパラドックスに起因する問題を解消し、スパーストレーニングにおける最先端の性能を達成すること。

提案手法

• トレーニングの各エポックの開始時にのみマスクを更新するように、マスク勾配を複数のトレーニングイテレーションにわたって蓄積するスーパー・マスク最適化手法を導入する。
• 現在のスパースネスレベルに比例してマスク学習率をスケーリングする、パラドックスに配慮した学習率スケジュールを定式化する。これにより、重みの相関関係に起因する誤差を低減する。
• トレーニング中スパースネスにスーパー・マスク学習を統合し、重みを保持しつつ、ストレートスルー推定を用いてマスク値を最適化する。
• スーパー・マスク学習が、保持された重みおよび削除された重みの両方に対して勾配駆動型スパースネス基準を暗黙的に蓄積することを証明し、独立性のパラドックスに対する部分的解決策を提供する。
• 損失関数の一次および高次テイラー近似を用いて重みの重要度を測定し、OptG は動的マスク最適化によりこの基準を精緻化する。
• 徐々にスパースネスを進めるスケジュールを採用し、スパースネス適用前に重みを元の値に復活させることで、高スパースネスレベルにおける安定したトレーニングと良好な収束を実現する。

Figure 1 : Top-1 accuracy v.s. sparsity with ResNet-50 on ImageNet. The proposed OptG significantly improves performance of other approaches, especially at the ultra-high sparsity levels.

実験結果

リサーチクエスチョン

• RQ1 勾配駆動型スパースネスにおける独立性仮定が、特に高スパースネスレベルで性能に与える影響はどの程度か？
• RQ2 スーパー・マスク学習は勾配駆動型スパースネス基準と理論的に結びつけることができるか？また、独立性のパラドックスに対する部分的解決策を提供するか？
• RQ3 マスク最適化にスパースネスに適応した学習率スケジュールを採用した場合、固定または重み同期型スケジュールと比較して性能にどのような影響を与えるか？
• RQ4 スーパー・マスク学習とトレーニング中スパースネスを組み合わせることで、極端なスパースネスレベルにおける一般化性能と精度が向上するか？
• RQ5 動的マスク最適化を伴うスパーストレーニングにおいて、マスク更新頻度がトレーニングの安定性と性能に与える影響は何か？

主な発見

• OptG は、ResNet-50 を用いて 98% のスパースネスで ImageNet で 67.20% のトップ-1精度を達成し、同条件で 62.84% の精度にとどまる強力なベースライン STR より顕著に優れた性能を示した。
• 95% のスパースネスにおいて、OptG は提案されたスパースネススケジュール下で 72.38% のトップ-1精度を達成し、Zhu et al. のスケジュール下の自身の性能（71.82%）を上回り、SET や RigL や DPF よりも優れた性能を示した。
• アブレーションスタディにより、提案されたパラドックスに配慮した学習率スケジュールが、定数学習率や重み同期型学習率よりも優れていることが確認され、誤差ギャップの低減効果が明確に示された。
• マスクの更新頻度が高すぎると、スパーストレーニングプロセスの不安定性により性能が劣化するため、OptG がエポック単位で稀なマスク更新を採用する利点が顕著に現れた。
• MobileNet-V1 において 90% のスパースネスで OptG は 70.27% のトップ-1精度を達成し、同スパースネスレベルで STR（66.80%）や GMP（61.80%）を上回った。
• 手動での設計なしに、自動的にレイヤーごとのスパースネスパターンを学習可能であり、異なるネットワークアーキテクチャおよびスパースネス領域においても適応性を示した。

Figure 2 : (a) The progression of the overall sparsity and (b) the learning rate of the supermasks with different $\alpha$ over the course of training.