[论文解读] Minnorm training: an algorithm for training overcomplete deep neural networks

Yamini Bansal, Madhu Advani+2 more|arXiv (Cornell University)|Jun 3, 2018

Machine Learning and ELM参考文献 21被引用 5

一句话总结

本文提出 Minnorm 训练，这是一种新颖的算法，通过将训练问题建模为约束优化问题，在过参数化的深度神经网络中最小化权重范数。通过利用拉格朗日乘子识别关键样本，并与标准反向传播集成，该方法实现了更快地收敛到最小范数解，并在 MNIST 数据集上的理论和实证评估中，优于早停法和 L2 正则化。

ABSTRACT

In this work, we propose a new training method for finding minimum weight norm solutions in over-parameterized neural networks (NNs). This method seeks to improve training speed and generalization performance by framing NN training as a constrained optimization problem wherein the sum of the norm of the weights in each layer of the network is minimized, under the constraint of exactly fitting training data. It draws inspiration from support vector machines (SVMs), which are able to generalize well, despite often having an infinite number of free parameters in their primal form, and from recent theoretical generalization bounds on NNs which suggest that lower norm solutions generalize better. To solve this constrained optimization problem, our method employs Lagrange multipliers that act as integrators of error over training and identify `support vector'-like examples. The method can be implemented as a wrapper around gradient based methods and uses standard back-propagation of gradients from the NN for both regression and classification versions of the algorithm. We provide theoretical justifications for the effectiveness of this algorithm in comparison to early stopping and $L_2$-regularization using simple, analytically tractable settings. In particular, we show faster convergence to the max-margin hyperplane in a shallow network (compared to vanilla gradient descent); faster convergence to the minimum-norm solution in a linear chain (compared to $L_2$-regularization); and initialization-independent generalization performance in a deep linear network. Finally, using the MNIST dataset, we demonstrate that this algorithm can boost test accuracy and identify difficult examples in real-world datasets.

研究动机与目标

• 解决尽管模型容量大，过参数化深度神经网络仍存在泛化性能差的挑战。
• 通过在精确拟合训练数据的约束下最小化各层权重范数之和，提升训练速度和泛化性能。
• 为寻找最小范数解提供一个理论基础坚实的替代方案，以替代早停法和 L2 正则化。
• 通过范数最小化实现深度线性网络的初始化无关泛化性能。
• 在真实世界数据集（如 MNIST）上展示实际有效性，识别困难样本并提升测试准确率。

提出的方法

• 将训练问题表述为：在精确拟合训练数据的约束下，最小化所有层权重的 L2 范数之和。
• 使用拉格朗日乘子强制执行数据拟合约束，这些乘子作为训练误差的积分器，并识别出类似支持向量的样本。
• 将该方法作为标准基于梯度的优化的封装器，对回归和分类任务均使用标准反向传播。
• 将该算法应用于浅层网络、线性链网络和深度线性网络，以分析收敛性和泛化行为。
• 在简单设置下进行理论分析，以比较 Minnorm 训练与早停法和 L2 正则化的性能。
• 通过 MNIST 将该方法扩展到真实世界深度网络，以验证性能提升和困难样本检测能力。

实验结果

研究问题

• RQ1 在浅层网络中，与原始梯度下降相比，最小化过参数化网络中的权重范数是否能更快收敛到最大间隔解？
• RQ2 在线性链网络中，Minnorm 训练是否比 L2 正则化更快收敛到最小范数解？
• RQ3 Minnorm 训练是否能在深度线性网络中实现初始化无关的泛化性能？
• RQ4 在真实世界数据上，Minnorm 训练与早停法和 L2 正则化相比，在测试准确率和鲁棒性方面表现如何？
• RQ5 Minnorm 训练是否能识别真实世界数据集（如 MNIST）中的困难样本？

主要发现

• 在浅层网络中，由于范数最小化约束的存在，Minnorm 训练比原始梯度下降更快收敛到最大间隔超平面。
• 在线性链网络中，与 L2 正则化相比，Minnorm 训练能更快收敛到最小范数解。
• 在深度线性网络中，Minnorm 训练实现了与初始化无关的泛化性能，而标准训练方法则不能。
• 在 MNIST 数据集上，Minnorm 训练提升了测试准确率，表明在真实世界设置中实现了更好的泛化性能。
• 该算法成功识别出 MNIST 数据集中的困难样本，表明模型可解释性和鲁棒性得到增强。
• 理论分析证实，Minnorm 训练在收敛速度和解的范数最小化方面优于早停法和 L2 正则化。