[论文解读] Layer-Peeled Model: Toward Understanding Well-Trained Deep Neural Networks.

Cong Fang, Hangfeng He+2 more|arXiv (Cornell University)|Jan 29, 2021

Adversarial Robustness in Machine Learning参考文献 46被引用 8

一句话总结

该论文提出了分层剥除模型（Layer-Peeled Model），这是一种简化但可分析的框架，通过将深度神经网络的最后几层分离出来，并对特征层和分类器层施加约束，从而实现对网络行为的解析。该模型解释了在类别平衡数据集上的神经坍塌（neural collapse）现象，并预测了一种新现象——少数类坍塌（Minority Collapse），出现在类别不平衡设置中，为缓解少数类性能差的问题提供了洞见。

ABSTRACT

In this paper, we introduce the Layer-Peeled Model, a nonconvex yet analytically tractable optimization program, in a quest to better understand deep neural networks that are trained for a sufficiently long time. As the name suggests, this new model is derived by isolating the topmost layer from the remainder of the neural network, followed by imposing certain constraints separately on the two parts. We demonstrate that the Layer-Peeled Model, albeit simple, inherits many characteristics of well-trained neural networks, thereby offering an effective tool for explaining and predicting common empirical patterns of deep learning training. First, when working on class-balanced datasets, we prove that any solution to this model forms a simplex equiangular tight frame, which in part explains the recently discovered phenomenon of neural collapse in deep learning training [PHD20]. Moreover, when moving to the imbalanced case, our analysis of the Layer-Peeled Model reveals a hitherto unknown phenomenon that we term Minority Collapse, which fundamentally limits the performance of deep learning models on the minority classes. In addition, we use the Layer-Peeled Model to gain insights into how to mitigate Minority Collapse. Interestingly, this phenomenon is first predicted by the Layer-Peeled Model before its confirmation by our computational experiments.

研究动机与目标

• 开发一种简化且可分析的模型，以捕捉训练良好的深度神经网络的关键行为。
• 通过几何框架解释在类别平衡数据集上神经坍塌现象的出现。
• 研究深度学习模型在类别不平衡数据集上对少数类的性能局限。
• 识别并分析一种新现象——少数类坍塌（Minority Collapse），该现象限制了对少数类的性能表现。
• 基于模型的理论洞见，提出缓解少数类坍塌的策略。

提出的方法

• 分层剥除模型将网络最顶层的分类层与其他部分分离，将特征和权重视为独立组件。
• 对特征嵌入和分类器权重施加约束，将优化问题简化为非凸但可解析求解的形式。
• 在类别平衡数据下，推导最优解的几何结构，证明其构成单形等角紧框架（simplex equiangular tight frame）。
• 在类别不平衡数据下，分析分类器和特征表示的收敛行为，揭示少数类方向的不稳定性。
• 理论分析表明，少数类坍塌的根本原因在于少数类特征在嵌入空间中向原点发生几何坍塌。
• 该模型基于对分类器或特征归一化方式的修改，预测了稳定少数类表示的缓解策略。

实验结果

研究问题

• RQ1 如何通过简化模型解释在类别平衡数据集上训练良好的深度网络中神经坍塌的出现？
• RQ2 在类别不平衡设置下，深度网络在少数类上泛化能力差的几何与优化特性是什么？
• RQ3 分层剥除模型是否预测了一种与少数类表示坍塌相关的未知新现象？
• RQ4 该模型能否通过架构或训练方式的修改，为提升少数类的泛化能力提供理论指导？
• RQ5 最终分类器层在训练过程中对特征空间几何结构的形成起什么作用？

主要发现

• 分层剥除模型证明，在类别平衡数据集上，任何解都会形成单形等角紧框架，为神经坍塌提供了理论解释。
• 该模型预测了一种新现象——少数类坍塌（Minority Collapse），即少数类特征向原点坍塌，从而限制了对罕见类别的模型性能。
• 少数类坍塌被证明是类别不平衡设置下由优化动力学引发的根本性几何限制。
• 后续计算实验验证了模型对少数类坍塌的预测，证实了其理论洞见的有效性。
• 该模型通过调整分类器或归一化方案以稳定少数类表示，提供了一种有原则的缓解少数类坍塌的方法。
• 分层剥除模型作为一种强大的分析工具，以极低的复杂度捕捉了训练后深度网络的核心行为。