[論文レビュー] Keep the Gradients Flowing: Using Gradient Flow to Study Sparse Network Optimization

Kale-ab Tessera, Sara Hooker+1 more|arXiv (Cornell University)|Feb 2, 2021

Stochastic Gradient Optimization Techniques参考文献 85被引用数 16

ひとこと要約

本稿では、公平にスパースネットワーク最適化を評価するため、新しい実験フレームワーク「Same Capacity Sparse vs Dense Comparison (SC-SDC)」と、正規化された勾配フロー指標「Effective Gradient Flow (EGF)」を導入する。標準的な最適化手法—例えばL2正則化を伴うAdam—は勾配フローを乱すためスパースネットワークに悪影響を及えることが判明した。一方で、BatchNorm、非スパース活性化関数（例：Swish）、および慎重な最適化手法の選択が性能向上に不可欠であることが示された。

ABSTRACT

Training sparse networks to converge to the same performance as dense neural architectures has proven to be elusive. Recent work suggests that initialization is the key. However, while this direction of research has had some success, focusing on initialization alone appears to be inadequate. In this paper, we take a broader view of training sparse networks and consider the role of regularization, optimization, and architecture choices on sparse models. We propose a simple experimental framework, Same Capacity Sparse vs Dense Comparison (SC-SDC), that allows for a fair comparison of sparse and dense networks. Furthermore, we propose a new measure of gradient flow, Effective Gradient Flow (EGF), that better correlates to performance in sparse networks. Using top-line metrics, SC-SDC and EGF, we show that default choices of optimizers, activation functions and regularizers used for dense networks can disadvantage sparse networks. Based upon these findings, we show that gradient flow in sparse networks can be improved by reconsidering aspects of the architecture design and the training regime. Our work suggests that initialization is only one piece of the puzzle and taking a wider view of tailoring optimization to sparse networks yields promising results.

研究の動機と目的

• スパースネットワークと密度ネットワークの間の性能格差が、初期化技術の進歩にもかかわらず持続する理由を解消すること。
• 密度ネットワークで一般的に用いられる最適化、正則化、アーキテクチャ的選択が、スパースネットワークに不利に働くかどうかを調査すること。
• スパースネットワークと密度ネットワークの活性パラメータ数と深さを同一にすることで、スパース性の影響を明確に分離できる公平なベンチマークフレームワークを構築すること。
• 従来の勾配フロー指標よりもスパース設定での性能予測に優れる、新たな指標「Effective Gradient Flow (EGF)」を導入すること。
• 勾配フローを安定化させ、スパースネットワークの収束性を向上させるアーキテクチャ的およびトレーニングレジームの選択を支援すること。

提案手法

• スパースネットワークと密度ネットワークの活性パラメータ数と深さを同一にした、制御された実験設定「Same Capacity Sparse vs Dense Comparison (SC-SDC)」を提案する。
• 活性重みの数を考慮した正規化された勾配フロー指標「Effective Gradient Flow (EGF)」を導入し、スパース設定におけるモデル性能との相関性を向上させる。
• 複数のアーキテクチャ（例：Wide ResNet-50）とプルーニング手法（例：マグニチュードプルーニング）を用いた大規模な実験を通じて、最適化手法の影響を評価する。
• 最適化手法（Adam、RMSProp）、正則化（L2、データオーグメンテーション）、正規化（BatchNorm）、活性化関数（ReLU、Swish、PReLU）、重み初期化の影響を体系的に評価する。
• EGFを用いて、スパースネットワークにおける最適化手法の選択と勾配フロー動態の相関を診断する。
• 動的プルーニングや初期化-プルーニング手法を含む多様な設定で妥当性を検証し、一般化可能性を確認する。

実験結果

リサーチクエスチョン

• RQ1 密度ネットワークで一般的に用いられる最適化および正則化手法—特にL2正則化やデータオーグメンテーションを含む—は、スパースネットワークの学習を悪化させるか？
• RQ2 スパースネットワークにおける勾配フローは密度ネットワークとどのように異なるか？ また、より良い測定方法は存在するか？
• RQ3 BatchNorm や活性化関数、最適化手法の選択といったアーキテクチャ的選択が、スパースネットワーク性能に及ぼす影響はどの程度か？
• RQ4 公平な比較フレームワーク（SC-SDC）は、モデルサイズや深さの違いに起因する影響をスパース性の影響から分離できるか？
• RQ5 アーキテクチャ的およびトレーニングレジームの調整によって勾配フローを改善することで、スパースネットワークの収束性が向上するか？

主な発見

• L2正則化やデータオーグメンテーションを併用した標準的な最適化手法（例：Adam、RMSProp）は、スパースネットワークにおいて勾配フローを著しく損なうため、性能が劣化する。
• Batch Normalization はスパースネットワークにおいて、密度ネットワークよりもはるかに重要であり、勾配フローを安定化させ、収束を可能にする。
• 非スパース活性化関数（例：Swish や PReLU）は、非単調的かつ適応的な性質を持つため、スパースネットワークにおける勾配フローを改善する。
• Effective Gradient Flow (EGF) は、従来の勾配フロー指標よりも、スパースネットワークにおけるトップライン性能（例：精度、損失）をより強く予測できる。
• スパースネットワークと密度ネットワークの性能格差は、初期化の問題に起因するものではない。最適化およびアーキテクチャ的選択が決定的な要因である。
• SC-SDC と EGF の結果は、アーキテクチャ（例：Wide ResNet-50）やプルーニング手法（例：マグニチュードプルーニング）を問わず一般化可能であり、洞察の堅牢性を確認した。