[论文解读] Minnorm training: an algorithm for training over-parameterized deep neural networks

Yamini Bansal, Madhu Advani+2 more|arXiv (Cornell University)|Jun 3, 2018

Advanced Neural Network Applications参考文献 26被引用 12

一句话总结

本文提出 Minnorm 训练，这是一种约束优化算法，可在完全拟合训练数据的同时最小化过参数化深度神经网络的权重范数。通过将训练问题建模为带有误差积分拉格朗日乘子的拉格朗日优化问题，该方法实现了更快地收敛到最小范数解，提升了泛化性能，并识别出类似支持向量的困难样本——在 MNIST 上优于原始 SGD 和 L2 正则化，测试误差更低，泛化界更紧。

ABSTRACT

In this work, we propose a new training method for finding minimum weight norm solutions in over-parameterized neural networks (NNs). This method seeks to improve training speed and generalization performance by framing NN training as a constrained optimization problem wherein the sum of the norm of the weights in each layer of the network is minimized, under the constraint of exactly fitting training data. It draws inspiration from support vector machines (SVMs), which are able to generalize well, despite often having an infinite number of free parameters in their primal form, and from recent theoretical generalization bounds on NNs which suggest that lower norm solutions generalize better. To solve this constrained optimization problem, our method employs Lagrange multipliers that act as integrators of error over training and identify `support vector'-like examples. The method can be implemented as a wrapper around gradient based methods and uses standard back-propagation of gradients from the NN for both regression and classification versions of the algorithm. We provide theoretical justifications for the effectiveness of this algorithm in comparison to early stopping and $L_2$-regularization using simple, analytically tractable settings. In particular, we show faster convergence to the max-margin hyperplane in a shallow network (compared to vanilla gradient descent); faster convergence to the minimum-norm solution in a linear chain (compared to $L_2$-regularization); and initialization-independent generalization performance in a deep linear network. Finally, using the MNIST dataset, we demonstrate that this algorithm can boost test accuracy and identify difficult examples in real-world datasets.

研究动机与目标

• 解决尽管容量巨大，过参数化深度神经网络中仍存在的泛化差距问题。
• 开发一种训练算法，明确在欠定且完全拟合的设定下寻找最小权重范数解。
• 通过利用约束优化，提升泛化性能，超越标准 SGD 和 L2 正则化。
• 识别并突出显示难以分类、影响决策边界的‘支持向量’类样本。
• 为范数最小化训练在深度网络中的优越性提供理论和实证依据。

提出的方法

• 将深度学习训练表述为约束优化问题：在完全拟合训练数据的前提下，最小化各层权重范数之和。
• 使用拉格朗日乘子作为误差积分器，识别出类似于支持向量机中支持向量的关键训练样本。
• 对回归和分类任务均采用标准反向传播，确保与现有深度学习框架的兼容性。
• 通过在网络权重和拉格朗日乘子之间交替优化来求解约束问题，实现基于梯度的训练。
• 将该方法作为标准 SGD 的封装器应用，允许与现有架构及正则化方法（如 Dropout 和 BatchNorm）无缝集成。
• 在未来工作中通过引入松弛变量，放宽完全拟合的约束，以适应标签噪声场景。

实验结果

研究问题

• RQ1 在过参数化网络中，一种在完全拟合训练数据的同时最小化权重范数的约束优化方法，是否能比标准 SGD 实现更好的泛化性能？
• RQ2 在线性及浅层网络中，Minnorm 训练与 L2 正则化相比，在收敛速度和范数最小化方面表现如何？
• RQ3 Minnorm 训练是否能识别并优先处理‘支持向量’类的困难样本？这些样本能否用于提升模型可解释性？
• RQ4 Minnorm 训练能否改善基于范数的泛化界？这种改善是否与更好的测试性能相关？
• RQ5 Minnorm 训练是否与初始化无关？在不同随机权重初始化下，其泛化性能是否保持一致？

主要发现

• 在 MNIST 数据集上，Minnorm 训练使用 SGD 时测试误差为 1.46%，使用 BGD 时为 1.52%，优于原始 SGD（1.82%）和权重衰减（1.74%）。
• 该方法在实现完美训练准确率（0.0% 错误）的同时降低了权重的 L2 范数，使基于范数的泛化界提升了五倍。
• 在线性链式网络中，Minnorm 比 L2 正则化更快收敛到最小范数解，且未改变损失最小值的位置。
• 在浅层 ReLU 网络中，Minnorm 训练表现出与初始化无关的泛化性能，而标准 SGD 则不然。
• 该算法成功识别出 MNIST 上的‘支持向量’类样本，对误分类或模糊的数字，其拉格朗日乘子非零，表明具有高不确定性。
• 大量 MNIST 样本（如图 6C 所示）并非支持向量，提示可通过在反向传播中跳过非关键样本实现训练加速。