[论文解读] Minimum weight norm models do not always generalize well for over-parameterized problems

Vatsal Shah, Anastasios Kyrillidis+1 more|arXiv (Cornell University)|Nov 16, 2018

Reinforcement Learning in Robotics参考文献 5被引用 11

一句话总结

本文挑战了在过参数化设置下最小权重范数解泛化性能最佳的假设。通过在简化和实际的深度学习场景中进行的实证分析，表明自适应优化方法即使产生更大的权重范数，仍可优于SGD，提示权重范数最小化并非泛化性能的普遍代理。

ABSTRACT

This work is substituted by the paper in arXiv:2011.14066. Stochastic gradient descent is the de facto algorithm for training deep neural networks (DNNs). Despite its popularity, it still requires fine tuning in order to achieve its best performance. This has led to the development of adaptive methods, that claim automatic hyper-parameter optimization. Recently, researchers have studied both algorithmic classes via toy examples: e.g., for over-parameterized linear regression, Wilson et. al. (2017) shows that, while SGD always converges to the minimum-norm solution, adaptive methods show no such inclination, leading to worse generalization capabilities. Our aim is to study this conjecture further. We empirically show that the minimum weight norm is not necessarily the proper gauge of good generalization in simplified scenaria, and different models found by adaptive methods could outperform plain gradient methods. In practical DNN settings, we observe that adaptive methods can outperform SGD, with larger weight norm output models, but without necessarily reducing the amount of tuning required.

研究动机与目标

• 调查在过参数化机器学习问题中，最小权重范数解是否始终具有更好的泛化性能。
• 评估自适应优化方法相对于SGD在简化和真实世界深度神经网络设置下的泛化性能。
• 确定SGD的最小范数归纳偏置是否为良好泛化的必要条件。
• 评估自适应方法尽管未收敛到最小范数解，是否仍能实现更优的泛化性能。

提出的方法

• 在过参数化线性回归模型上进行优化动态的实证评估，作为简化的测试平台。
• 在受控的过参数化设置下，比较SGD与自适应方法（如Adam、RMSProp）的泛化性能。
• 分析不同优化器之间权重范数大小与泛化误差之间的关系。
• 在实际深度神经网络训练中评估SGD与自适应方法的表现，测量测试准确率和权重范数大小。
• 使用小样本示例说明最小范数优化器与非最小范数优化器在泛化行为上的差异。
• 在简化和实际的DNN设置中，独立于权重范数大小，实证观察模型的泛化性能。

实验结果

研究问题

• RQ1 在过参数化问题中，最小权重范数解是否总是具有更好的泛化性能？
• RQ2 自适应优化方法是否能在产生更大权重范数的情况下，仍优于SGD的泛化性能？
• RQ3 SGD的最小范数归纳偏置在深度学习中是良好泛化的充分条件还是必要条件？
• RQ4 在实际深度神经网络训练场景中，自适应方法的泛化性能与SGD相比如何？

主要发现

• 最小权重范数解在过参数化问题中并非普遍具有更好的泛化性能，这挑战了广泛持有的假设。
• 自适应方法如Adam即使产生显著更大的权重范数，仍可在泛化性能上优于SGD。
• 在简化的线性回归设置中，自适应方法的泛化性能劣于SGD，但在实际DNN中，它们通常优于SGD。
• SGD与自适应方法之间的性能差距不能完全归因于权重范数大小，表明其他因素也影响泛化性能。
• 尽管在某些情况下自适应方法优于SGD，但它们仍需要大量超参数调优，这与自动优化的声称相矛盾。