[论文解读] Analyzing Monotonic Linear Interpolation in Neural Network Loss Landscapes

James Lucas, Juhan Bae+4 more|arXiv (Cornell University)|Apr 22, 2021

Stochastic Gradient Optimization Techniques参考文献 53被引用 7

一句话总结

本文研究了单调线性插值（MLI）现象，即在初始权重与训练后权重之间进行线性插值时，尽管目标函数非凸，训练损失仍持续减少。作者利用微分几何推导了在均方误差下的MLI充分条件，并表明通过鼓励从初始化开始的大权重更新，可系统性地破坏MLI，从而挑战了关于损失景观几何结构的既有假设。

ABSTRACT

Linear interpolation between initial neural network parameters and converged parameters after training with stochastic gradient descent (SGD) typically leads to a monotonic decrease in the training objective. This Monotonic Linear Interpolation (MLI) property, first observed by Goodfellow et al. (2014) persists in spite of the non-convex objectives and highly non-linear training dynamics of neural networks. Extending this work, we evaluate several hypotheses for this property that, to our knowledge, have not yet been explored. Using tools from differential geometry, we draw connections between the interpolated paths in function space and the monotonicity of the network - providing sufficient conditions for the MLI property under mean squared error. While the MLI property holds under various settings (e.g. network architectures and learning problems), we show in practice that networks violating the MLI property can be produced systematically, by encouraging the weights to move far from initialization. The MLI property raises important questions about the loss landscape geometry of neural networks and highlights the need to further study their global properties.

研究动机与目标

• 研究在初始权重与训练后权重之间的线性参数路径上，训练损失出人意料地单调下降的现象。
• 探讨尚未被检验的假设，解释为何在神经网络权重空间中进行线性插值通常会导致损失单调减少，尽管目标函数是非凸的。
• 推导单调线性插值（MLI）性质成立的充分几何条件，尤其针对均方误差损失。
• 检验MLI是否为普遍性质，或是否可通过改变训练动态（如鼓励从初始化开始的大权重更新）被系统性地破坏。
• 通过路径单调性的视角，深化对深度学习中全局损失景观几何结构的理解。

提出的方法

• 作者利用微分几何分析权重空间中线性插值路径上的损失景观曲率与方向导数。
• 通过研究损失函数关于插值参数的二阶行为，推导出路径上损失单调减少的充分条件。
• 分析聚焦于均方误差损失，以实现解析可处理性，并得出MLI的明确条件。
• 构建受控的训练设置，以鼓励权重从初始化发生大幅移动，从而检验MLI在这些条件下是否失效。
• 本研究结合理论分析与跨多种网络架构和学习任务的实证验证。
• 理论结果基于插值路径上损失函数的海森矩阵与梯度结构。

实验结果

研究问题

• RQ1 在何种几何条件下，初始权重与训练后权重之间的线性插值会在神经网络中导致损失单调减少？
• RQ2 为何单调线性插值（MLI）性质在多种架构和学习问题中持续存在，尽管目标函数是非凸的？
• RQ3 是否可通过修改训练动态（如鼓励从初始化开始的大权重更新）系统性地破坏MLI性质？
• RQ4 损失景观的曲率与梯度结构在多大程度上影响插值路径的单调性？
• RQ5 MLI在多大程度上是损失函数选择（尤其是均方误差）的结果？

主要发现

• MLI性质在与插值路径上海森矩阵和梯度对齐相关的特定几何条件下成立，尤其当损失为均方误差时。
• 理论分析表明，MLI并非先验保证，而是取决于损失函数的曲率与方向导数。
• 实证结果表明，通过使用大学习率或导致权重远离初始化的权重衰减进行训练，可系统性地生成违反MLI的网络。
• MLI性质并非普遍成立，当权重轨迹显著偏离初始化时即告失效，表明单调性并非所有训练动态的固有特性。
• 研究揭示，插值路径的单调性对权重更新幅度极为敏感，挑战了关于损失景观全局结构的既有假设。
• 结果表明，损失景观几何远比先前设想的复杂，MLI仅为特例而非普遍规律。