[论文解读] An analytic theory of shallow networks dynamics for hinge loss classification

Franco Pellegrini, Giulio Biroli|arXiv (Cornell University)|Jun 19, 2020

Neural Networks and Applications参考文献 37被引用 5

一句话总结

本文为具有铰链损失的浅层神经网络在二分类任务中的训练动力学，发展了一种解析的平均场理论。通过将网络映射到具有时变数据的自洽单节点问题，该理论在数据线性可分且球对称的条件下，解析求解了参数演化过程，揭示了丰富学习与懒惰学习模式之间的转变，并通过有限尺寸修正量化了过拟合与误标签的影响。

ABSTRACT

Neural networks have been shown to perform incredibly well in classification tasks over structured high-dimensional datasets. However, the learning dynamics of such networks is still poorly understood. In this paper we study in detail the training dynamics of a simple type of neural network: a single hidden layer trained to perform a classification task. We show that in a suitable mean-field limit this case maps to a single-node learning problem with a time-dependent dataset determined self-consistently from the average nodes population. We specialize our theory to the prototypical case of a linearly separable dataset and a linear hinge loss, for which the dynamics can be explicitly solved. This allow us to address in a simple setting several phenomena appearing in modern networks such as slowing down of training dynamics, crossover between rich and lazy learning, and overfitting. Finally, we asses the limitations of mean-field theory by studying the case of large but finite number of nodes and of training samples.

研究动机与目标

• 为具有铰链损失的浅层神经网络训练动力学发展一种可处理的解析理论。
• 在可解设定下，理解丰富学习与懒惰学习模式之间的相互作用。
• 量化有限宽度、有限样本网络中的过拟合与误标签效应。
• 通过研究其在真实设定中的失效，验证平均场近似。

提出的方法

• 通过在大-M极限下对节点群体取平均，推导出参数动力学的平均场方程。
• 使用由平均节点群体决定的自洽有效数据分布。
• 针对具有线性铰链损失的线性可分、球对称数据，解析求解动力学。
• 利用高斯积分与经验平均，计算平均场理论的有限尺寸修正。
• 将误标签作为微扰引入，以研究其对动力学与过拟合的影响。
• 通过数值模拟验证，并与真实训练运行的实测数据进行比较。

实验结果

研究问题

• RQ1 在平均场极限下，具有铰链损失的浅层网络的训练动力学行为如何？
• RQ2 在线性可分、球对称数据集上，参数演化的解析形式是什么？
• RQ3 在此设定下，丰富学习与懒惰学习模式如何出现并发生转变？
• RQ4 有限宽度、有限样本网络中的过拟合由何引起，如何量化？
• RQ5 误标签如何影响动力学并加速过拟合？

主要发现

• 平均场理论将全网络动力学映射到具有时变数据的单节点问题，从而实现解析求解。
• 通过参数范数与数据方向对齐的时间演化，解析刻画了丰富学习与懒惰学习模式之间的转变。
• 过拟合源于数据分布的有限尺寸波动，其量化项为 √(d−1)fU/(2N)，其中 fU(t) 为未满足样本的占比。
• 误标签引入了一个持续存在的反向梯度项，减缓训练进程并加速过拟合。
• 平均场理论的有限尺寸修正能准确预测过拟合的起始点及权重分量的动力学。
• 数值模拟验证了分析预测，显示在早期训练阶段具有良好一致性，而在过拟合区域出现偏差。