[论文解读] Gradient Starvation: A Learning Proclivity in Neural Networks

Mohammad Pezeshki, Sékou-Oumar Kaba+4 more|arXiv (Cornell University)|Nov 18, 2020

Adversarial Robustness in Machine Learning参考文献 102被引用 42

一句话总结

这篇论文在过参数化网络的交叉熵下形式化了梯度饥饿（Gradient Starvation），展示强特征如何阻碍对较弱特征的学习，并引入 Spectral Decoupling 以解耦特征学习、提升鲁棒性与 OOD 泛化。

ABSTRACT

We identify and formalize a fundamental gradient descent phenomenon resulting in a learning proclivity in over-parameterized neural networks. Gradient Starvation arises when cross-entropy loss is minimized by capturing only a subset of features relevant for the task, despite the presence of other predictive features that fail to be discovered. This work provides a theoretical explanation for the emergence of such feature imbalance in neural networks. Using tools from Dynamical Systems theory, we identify simple properties of learning dynamics during gradient descent that lead to this imbalance, and prove that such a situation can be expected given certain statistical structure in training data. Based on our proposed formalism, we develop guarantees for a novel regularization method aimed at decoupling feature learning dynamics, improving accuracy and robustness in cases hindered by gradient starvation. We illustrate our findings with simple and real-world out-of-distribution (OOD) generalization experiments.

研究动机与目标

• 动机并形式化解释在交叉熵损失下梯度下降为何强调一部分预测特征。
• 为 NTK 区域的学习动力学开发理论框架，以解释特征不平衡。
• 提出 Spectral Decoupling 作为一个简单的正则化项，以解耦特征学习并缓解 Gradient Starvation。
• 在分类和 OOD 任务中提供理论保证和实证证据。
• 讨论在具有伪相关数据下的鲁棒性和泛化的含义。

提出的方法

• 将神经网络建模为 Neural Tangent Kernel 范畴以线性化训练动力学。
• 通过 Y Phi0 的 SVD 将学习动力学沿正交特征方向分解，以定义特征与响应。
• 将 Gradient Starvation 表述为特征方向之间的耦合，当其他方向更强时会减缓某些特征的学习。
• 通过对交叉熵的变分界来得到对偶形式，从而获得可处理的动力学和固定点。
• 通过用基于对数的 L2 惩罚替代权重衰减来引入 Spectral Decoupling，以解耦双重特征动力学。
• 给出理论结果（如固定点分析和扰动结果）并在简单解析案例和实验中进行验证。

实验结果

研究问题

• RQ1 在何种条件下会在用交叉熵训练的网络中出现 Gradient Starvation？
• RQ2 特征强度差异和特征方向之间的耦合如何影响学习动力学？
• RQ3 是否可以通过一个简单的正则化项在不牺牲清洁准确度的情况下解耦特征学习并缓解 Gradient Starvation？
• RQ4 Spectral Decoupling 是否在各类任务中提升鲁棒性和出分布性能？

主要发现

• 在交叉熵下，较强的特征会抑制对较弱但具有预测性的特征的学习，从而导致 Gradient Starvation。
• 由于特征空间中非对角相互作用导致的耦合学习动力学推动 GS，特别是在特征强度不相等时。
• Spectral Decoupling 正则项使对偶动力学独立，缓解 GS 并使多种特征得以学习。
• SD 在 CIFAR-2/10/100 上提高对抗鲁棒性和 OOD 性能，同时在报告的实验中不损失清洁准确度。
• SD 在 CIFAR-2 上获得更大的分类边界，并在 CelebA 具有伪相关性别-颜色的头发颜色分类中提升最差组准确率。
• 对彩色 MNIST 的实验表明 SD 有助于学习超越颜色的鲁棒特征，在非训练环境下提高测试表现。