[论文解读] Extended Unconstrained Features Model for Exploring Deep Neural Collapse

Tom Tirer, Joan Bruna|arXiv (Cornell University)|Feb 16, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文将无约束特征模型（UFM）扩展至正则化均方误差（MSE）损失和带有ReLU激活的非线性架构，以分析深度神经网络坍塌（DNC）。结果表明，与交叉熵相比，MSE损失能实现更具结构化的特征坍塌（如正交性）；并证明非线性扩展UFM能准确建模实际网络中的DNC现象，包括在CIFAR10上训练的ResNet18。

ABSTRACT

The modern strategy for training deep neural networks for classification tasks includes optimizing the network's weights even after the training error vanishes to further push the training loss toward zero. Recently, a phenomenon termed "neural collapse" (NC) has been empirically observed in this training procedure. Specifically, it has been shown that the learned features (the output of the penultimate layer) of within-class samples converge to their mean, and the means of different classes exhibit a certain tight frame structure, which is also aligned with the last layer's weights. Recent papers have shown that minimizers with this structure emerge when optimizing a simplified "unconstrained features model" (UFM) with a regularized cross-entropy loss. In this paper, we further analyze and extend the UFM. First, we study the UFM for the regularized MSE loss, and show that the minimizers' features can have a more delicate structure than in the cross-entropy case. This affects also the structure of the weights. Then, we extend the UFM by adding another layer of weights as well as ReLU nonlinearity to the model and generalize our previous results. Finally, we empirically demonstrate the usefulness of our nonlinear extended UFM in modeling the NC phenomenon that occurs with practical networks.

研究动机与目标

• 分析在正则化均方误差（MSE）损失下，无约束特征模型（UFM）中结构化特征坍塌的出现机制。
• 通过引入带有ReLU非线性的附加线性层，扩展UFM以更好地模拟现实世界中的深度神经网络。
• 研究偏差项和正则化对坍塌特征及分类器权重结构的影响。
• 证明非线性扩展UFM能够准确捕捉实际网络（如ResNet18）中观察到的神经网络坍塌现象。
• 为扩展UFM在建模深度网络优化动力学方面的鲁棒性提供理论与实证支持。

提出的方法

• 在UFM框架内形式化正则化MSE损失，将特征视为独立于输入数据的自由优化变量。
• 分析基于MSE的UFM的极小化点，表明偏差项可实现更结构化的特征坍塌，包括正交性。
• 引入一个带有ReLU非线性的两层扩展UFM，将最深层特征建模为非线性变换的输出。
• 证明在特定条件下，非线性扩展UFM可使最深层特征坍塌为单纯形等角紧框架（ETF）。
• 对坍塌结构附近的特征扰动进行渐近分析，以评估其稳定性。
• 通过在CIFAR10上使用MSE损失训练的ResNet18进行实证验证，将神经网络坍塌指标与扩展UFM的结果进行比较。

实验结果

研究问题

• RQ1 与交叉熵相比，使用正则化MSE损失如何影响UFM中坍塌特征的结构？
• RQ2 偏差项在UFM中对坍塌特征和分类器权重结构的形成起什么作用？
• RQ3 带有ReLU激活的非线性扩展UFM能否准确建模实际深度网络中观察到的神经网络坍塌现象？
• RQ4 特征扰动如何影响扩展UFM中坍塌结构的稳定性？
• RQ5 非线性扩展UFM在多大程度上复现了在CIFAR10上训练的实ResNet18模型中观察到的神经网络坍塌指标（NC1–NC3）？

主要发现

• UFM中的正则化MSE损失导致特征坍塌具有增强的结构特性，如正交性，超越了交叉熵中观察到的单纯形ETF结构。
• 在基于MSE的UFM中引入偏差项可实现更精细、更结构化的坍塌，同时影响特征均值和分类器权重。
• 线性扩展UFM无法完全捕捉实际网络中观察到的深度方向坍塌动态，凸显了非线性的重要性。
• 基于ReLU的非线性扩展UFM成功诱导了最深层特征的结构化坍塌，NC1和NC2指标趋近于零，表明类内方差消失且ETF对齐。
• 实证结果表明，非线性扩展UFM的NC指标与在CIFAR10上使用MSE损失训练的优秀ResNet18模型之间具有强烈的定性和定量相似性。
• 渐近分析表明，第一层特征的固定扰动不会显著破坏坍塌结构，表明极小化点具有鲁棒性。