[论文解读] Limitations of Neural Collapse for Understanding Generalization in Deep Learning

Like Hui, Mikhail Belkin+1 more|arXiv (Cornell University)|Feb 17, 2022

Neural Networks and Applications被引用 10

一句话总结

本文研究了神经坍塌在解释深度学习泛化能力方面的局限性。它将神经坍塌细化为训练集和测试集两种变体，表明尽管坍塌在训练过程中可靠地发生（优化过程），但在测试分布上却无法出现。关键的是，坍塌程度越高，下游迁移性能越差，这挑战了坍塌能增强表征学习的假设。作者进一步观察到深层网络中存在‘级联坍塌’现象，表明坍塌可能从最后层向更早的层传播。

ABSTRACT

The recent work of Papyan, Han, & Donoho (2020) presented an intriguing "Neural Collapse" phenomenon, showing a structural property of interpolating classifiers in the late stage of training. This opened a rich area of exploration studying this phenomenon. Our motivation is to study the upper limits of this research program: How far will understanding Neural Collapse take us in understanding deep learning? First, we investigate its role in generalization. We refine the Neural Collapse conjecture into two separate conjectures: collapse on the train set (an optimization property) and collapse on the test distribution (a generalization property). We find that while Neural Collapse often occurs on the train set, it does not occur on the test set. We thus conclude that Neural Collapse is primarily an optimization phenomenon, with as-yet-unclear connections to generalization. Second, we investigate the role of Neural Collapse in feature learning. We show simple, realistic experiments where training longer leads to worse last-layer features, as measured by transfer-performance on a downstream task. This suggests that neural collapse is not always desirable for representation learning, as previously claimed. Finally, we give preliminary evidence of a "cascading collapse" phenomenon, wherein some form of Neural Collapse occurs not only for the last layer, but in earlier layers as well. We hope our work encourages the community to continue the rich line of Neural Collapse research, while also considering its inherent limitations.

研究动机与目标

• 通过区分训练集坍塌与测试集坍塌，澄清神经坍塌研究中的模糊性。
• 探究神经坍塌是否真正解释了泛化，还是仅仅是一种优化伪影。
• 利用迁移学习基准评估神经坍塌对表征学习的影响。
• 探索坍塌是否从最后一层扩展到深层网络的更早层。
• 对神经坍塌研究计划进行批判性评估，突出其优势与局限性。

提出的方法

• 提出神经坍塌的精细化、精确化表述：针对训练集和测试集分别定义弱版本和强版本。
• 在多种架构（如ResNet18）和数据集（如CIFAR-10）上，对训练集和测试集的特征坍塌进行实证评估。
• 测量训练集坍塌程度与线性探测和微调任务下游迁移性能之间的相关性。
• 在全连接网络上进行受控实验，观察隐藏层中坍塌的时间序列演化。
• 使用基于方差的度量方法量化坍塌，通过测量每类特征的集中程度。
• 采用标准的深度学习训练协议（带动量的SGD、余弦退火学习率衰减），以确保训练动力学的真实性。

实验结果

研究问题

• RQ1 神经坍塌是否在测试分布上发生，还是仅局限于训练集？
• RQ2 训练集上的神经坍塌在多大程度上能预测或提升泛化性能？
• RQ3 神经坍塌程度的增加是否如下游迁移准确率所衡量的那样，有利于表征学习？
• RQ4 在深层网络中，坍塌是否能从最后一层传播到更早的层？
• RQ5 将神经坍塌猜想推广至泛化问题的理论与实证极限是什么？

主要发现

• 神经坍塌在多个架构和数据集的训练集上可靠发生，证实了原始观察结果。
• 即使训练集坍塌强烈，测试集坍塌在实践中并未发生，表明坍塌并非泛化特性。
• 训练集坍塌程度越高，下游迁移性能越差，表明更强的坍塌可能降低表征质量。
• 实证结果表明，特征方差更高（坍塌更少）的模型在下游任务的线性探测和微调中表现更优。
• 初步证据表明存在‘级联坍塌’现象，即坍塌在训练过程中从最后一层开始，依次向更早的层传播。
• 在标准假设下，强测试集坍塌在理论上不可行，而弱测试集坍塌虽可能但未在实践中被观察到。