[论文解读] Constraint-Based Regularization of Neural Networks

Benedict Leimkuhler, Timothée Pouchon+2 more|arXiv (Cornell University)|Jun 17, 2020

Stochastic Gradient Optimization Techniques参考文献 55被引用 6

一句话总结

该论文提出了一种基于约束的正则化框架，利用朗之万动力学训练深度神经网络，将代数约束（如正交性和圆约束）整合到随机优化中，以稳定训练过程、缓解梯度消失/爆炸问题并提升泛化性能。该方法在图像分类、自然语言处理和合成任务上均达到最先进性能，在关键基准测试中优于标准的带动量和权重衰减的SGD。

ABSTRACT

We propose a method for efficiently incorporating constraints into a stochastic gradient Langevin framework for the training of deep neural networks. Constraints allow direct control of the parameter space of the model. Appropriately designed, they reduce the vanishing/exploding gradient problem, control weight magnitudes and stabilize deep neural networks and thus improve the robustness of training algorithms and the generalization capabilities of the trained neural network. We present examples of constrained training methods motivated by orthogonality preservation for weight matrices and explicit weight normalizations. We describe the methods in the overdamped formulation of Langevin dynamics and the underdamped form, in which momenta help to improve sampling efficiency. The methods are explored in test examples in image classification and natural language processing.

研究动机与目标

• 开发一种理论坚实、灵活的框架，用于将约束整合到深度神经网络的训练过程中。
• 通过直接控制参数空间，解决梯度消失/爆炸问题并提升训练鲁棒性。
• 用显式、可解释的约束替代或简化如批量归一化等隐式正则化技术。
• 证明约束朗之万动力学在图像和自然语言处理基准测试中优于标准SGD带动量和权重衰减。
• 提供一种统一的、遍历性采样框架，用于深度学习，以增强探索能力和泛化性能。

提出的方法

• 使用过阻尼和欠阻尼朗之万动力学，从由 g(q) = 0 定义的约束参数流形中进行采样。
• 引入松弛变量以处理不等式约束，例如通过圆约束限制权重大小。
• 采用投影更新方法在每一步强制执行约束，确保参数始终位于约束流形上。
• 采用改进的欧拉-马鲁亚马格式进行数值积分，包含噪声项和梯度项。
• 通过基于投影的方法实现正交性约束，确保训练过程中权重矩阵保持或正交。
• 使用温度控制的扰动，以在采样过程中平衡探索与收敛性。

实验结果

研究问题

• RQ1 代数约束能否被高效地整合到深度神经网络的随机梯度训练中，以提升泛化性能？
• RQ2 通过约束强制实现正交性或有界权重范数，是否能缓解梯度消失/爆炸问题？
• RQ3 与标准SGD带动量和权重衰减相比，约束朗之万动力学在测试准确率和损失方面表现如何？
• RQ4 基于约束的正则化能否替代或简化如批量归一化等隐式正则化技术？
• RQ5 约束强制对不同架构和数据集的训练稳定性与收敛速度有何影响？

主要发现

• 在CIFAR-10上使用ResNet-34训练时，带有正交性约束的 o-CoLA-od 方法相比标准SGD实现了更低的测试损失和更高的测试准确率，泛化性能更优且过拟合更少。
• 在Fashion-MNIST数据集上，圆约束网络实现了87.61%的测试准确率和0.386的测试损失，优于带动量和权重衰减的SGD（最佳基线为87.47%准确率）。
• 在Penn Treebank数据集上，c-CoLA-ud 方法在200个周期后达到比SGD-m更低的验证损失，表明优化稳定性得到提升。
• 在螺旋二分类任务中，τ = 0 的 o-CoLA-od 方法相比无约束SGD收敛到更低损失并实现更好泛化性能。
• 约束朗之万方法在图像分类、自然语言处理和合成数据等多种任务中均表现出一致改进，表明其具有广泛适用性。
• 该方法可在无需批量归一化、残差连接或学习率衰减的情况下实现稳定训练，如使用正交初始化训练10,000层CNN所展示的。