[论文解读] Coherent Gradients: An Approach to Understanding Generalization in Gradient Descent-based Optimization

Sat Chatterjee|arXiv (Cornell University)|Feb 25, 2020

Stochastic Gradient Optimization Techniques参考文献 25被引用 21

一句话总结

本文提出了相干梯度假设，认为梯度下降之所以泛化良好，是因为相似样本的梯度会相互增强，从而将参数更新偏向能同时改善多个样本的方向。作者证明了该机制能够解释深度学习中的泛化现象，并提出了Winsorized SGD这一实用改进方法，通过抑制弱而不稳定的梯度方向来减少过拟合。

ABSTRACT

An open question in the Deep Learning community is why neural networks trained with Gradient Descent generalize well on real datasets even though they are capable of fitting random data. We propose an approach to answering this question based on a hypothesis about the dynamics of gradient descent that we call Coherent Gradients: Gradients from similar examples are similar and so the overall gradient is stronger in certain directions where these reinforce each other. Thus changes to the network parameters during training are biased towards those that (locally) simultaneously benefit many examples when such similarity exists. We support this hypothesis with heuristic arguments and perturbative experiments and outline how this can explain several common empirical observations about Deep Learning. Furthermore, our analysis is not just descriptive, but prescriptive. It suggests a natural modification to gradient descent that can greatly reduce overfitting.

研究动机与目标

• 解释尽管神经网络具有记忆随机标签的能力，为何梯度下降仍能实现良好泛化。
• 研究在训练过程中，不同样本之间的梯度相似性是否驱动了对可泛化解的偏好。
• 提出一种对梯度下降的可操作性改进，通过过滤不稳定的梯度方向来提升泛化性能。
• 通过梯度一致性及其对训练动态的影响，将泛化与算法稳定性联系起来。

提出的方法

• 提出相干梯度假设：相似样本会产生相似的梯度分量，从而在共享方向上产生更强、更稳定的整体梯度。
• 通过一个包含两个样本的思想实验，说明共享梯度分量如何增强对可泛化方向的更新。
• 分析梯度强度与算法稳定性之间的关系，认为强梯度对单个样本的移除不那么敏感。
• 提出Winsorized SGD作为一项实用改进，通过限制每个样本梯度的大小，减少因弱而不稳定更新导致的过拟合。
• 从稳定性理论的角度分析泛化，表明非平凡的泛化界必须考虑数据相关的梯度行为。
• 提出“稳定性会计”类比，用于追踪随时间变化的梯度一致性，从而实现基于数据的泛化分析。

实验结果

研究问题

• RQ1 为何梯度下降在神经网络具备记忆随机标签能力的前提下，仍能偏好在真实数据集上泛化良好的解？
• RQ2 梯度动态如何在训练过程中检测并利用相似样本之间的共同模式？
• RQ3 梯度一致性在多大程度上能解释深度学习中观察到的偏差，例如对低频或低复杂度函数的偏好？
• RQ4 在不同架构和数据集上，梯度相似性与泛化性能的相关性如何？
• RQ5 基于梯度一致性的优化算法改进是否能提升泛化性能，并提供理论保证？

主要发现

• 相干梯度假设通过表明梯度更新会偏向同时改善多个相似样本性能的方向，从而解释了泛化现象。
• 扰动实验和启发式论证支持该观点：梯度一致性自然源于数据结构，并非模型架构的产物。
• 基于该假设的Winsorized SGD改进方法，通过截断极端的每个样本梯度，显著减少了过拟合，从而提升了泛化性能。
• 该机制表明，泛化并非仅源于归纳偏置或网络架构，而是源于相似数据点间梯度累积的动力学过程。
• 基于稳定性的分析表明，非平凡的泛化界必须依赖于特定数据的梯度行为，因为忽略数据结构的界本质上是平凡的。
• 该假设为理解多样化的经验观察提供了一个统一的视角，包括彩票彩票假说（Lottery Ticket Hypothesis）和对低复杂度函数的偏好。