[論文レビュー] Gradient Starvation: A Learning Proclivity in Neural Networks

Mohammad Pezeshki, Sékou-Oumar Kaba+4 more|arXiv (Cornell University)|Nov 18, 2020

Adversarial Robustness in Machine Learning参考文献 102被引用数 42

ひとこと要約

論文はクロスエントロピー下での Gradient Starvation を過剰パラメータ化されたネットワークで formalize し、強い特徴が弱い特徴の学習を妨げる様子を示し、Spectral Decoupling を導入して特徴学習を分離し、堅牢性とOOD一般化を改善する。

ABSTRACT

We identify and formalize a fundamental gradient descent phenomenon resulting in a learning proclivity in over-parameterized neural networks. Gradient Starvation arises when cross-entropy loss is minimized by capturing only a subset of features relevant for the task, despite the presence of other predictive features that fail to be discovered. This work provides a theoretical explanation for the emergence of such feature imbalance in neural networks. Using tools from Dynamical Systems theory, we identify simple properties of learning dynamics during gradient descent that lead to this imbalance, and prove that such a situation can be expected given certain statistical structure in training data. Based on our proposed formalism, we develop guarantees for a novel regularization method aimed at decoupling feature learning dynamics, improving accuracy and robustness in cases hindered by gradient starvation. We illustrate our findings with simple and real-world out-of-distribution (OOD) generalization experiments.

研究の動機と目的

• クロスエントロピー損失の下で勾配降下法が予測可能な特徴の一部を強調する理由を動機づけ、正式に定式化する。
• NTK領域における学習ダイナミクスの理論的枠組みを構築し、特徴の不均衡を説明する。
• 特徴学習を分離し Gradient Starvation を軽減する簡潔な正則化手法として Spectral Decoupling を提案する。
• 分類とOODタスク全体にわたる理論的保証と経験的証拠を提供する。
• 偽相関を含むデータに対する堅牢性と一般化への影響を論じる。

提案手法

• 学習ダイナミクスを線形化するために Neural Tangent Kernel regime でニューラルネットをモデル化する。
• Y Phi0 の SVD によって直交特徴方向に沿って学習ダイナミクスを分解し、特徴と応答を定義する。
• 他の特徴がより強い場合に一部の特徴の学習を遅らせる特徴方向間の結合として Gradient Starvation を定式化する。
• 変分境界を介してクロスエントロピーのデュアル形式を導出し、扱いやすいダイナミクスと固定点を得る。
• 重み減衰をロジットベースの L2 ペナルティに置換してデュアル特徴ダイナミクスを分離する Spectral Decoupling を導入する。
• 理論的結果（例: 固定点解析と摂動結果）を提供し、単純な解析ケースと実験で検証する。

実験結果

リサーチクエスチョン

• RQ1 クロスエントロピーで学習したネットワークにおいて、Gradient Starvation はどのような条件で出現するか？
• RQ2 特徴の強さの差と特徴方向間の結合は学習ダイナミクスにどのように影響するか？
• RQ3 単純な正則化手段で特徴学習を分離し、クリーン精度を損なうことなく Gradient Starvation を軽減できるか？
• RQ4 Spectral Decoupling はタスクを跨いで堅牢性とOOD性能を向上させるか？

主な発見

• Gradient Starvation は、強い特徴が予測的であるにもかかわらず、より弱い特徴の学習を抑制する場合にクロスエントロピー下で発生します。
• 特徴空間の非対角相互作用による結合学習ダイナミクスがGSを生み出し、特に特徴の強さが異なる場合に顕著です。
• Spectral Decoupling 正則化はデュアルダイナミクスを独立にし、GSを軽減し複数の特徴の学習を可能にします。
• SD は報告された実験で CIFAR-2/10/100 の敵対的堅牢性と OOD 性能を改善し、クリーン精度を犠牲にしません。
• SD は CIFAR-2 で分類マージンを大きくし、CelebA の髪の色分類で最悪グループ精度を改善します（偽相関としての性別-カラーを含む）。
• 着色 MNIST の実験は、SD が色以外の堅牢な特徴の学習を助け、訓練環境以外の環境でテスト性能を改善することを示しています。