[论文解读] Analytical Study of Momentum-Based Acceleration Methods in Paradigmatic High-Dimensional Non-Convex Problems

Stefano Sarao Mannelli, Pierfrancesco Urbani|arXiv (Cornell University)|Feb 23, 2021

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文使用动力学平均场理论，对高维非凸景观中的动量优化方法——Heavy Ball 和 Nesterov 加速法——进行了分析研究。在稀疏矩阵-张量模型中，推导出其平均动力学的闭式方程，并发现尽管这些方法能加速收敛，但其在信号恢复方面的算法阈值并未超越原始梯度下降法。

ABSTRACT

The optimization step in many machine learning problems rarely relies on vanilla gradient descent but it is common practice to use momentum-based accelerated methods. Despite these algorithms being widely applied to arbitrary loss functions, their behaviour in generically non-convex, high dimensional landscapes is poorly understood. In this work, we use dynamical mean field theory techniques to describe analytically the average dynamics of these methods in a prototypical non-convex model: the (spiked) matrix-tensor model. We derive a closed set of equations that describe the behaviour of heavy-ball momentum and Nesterov acceleration in the infinite dimensional limit. By numerical integration of these equations, we observe that these methods speed up the dynamics but do not improve the algorithmic threshold with respect to gradient descent in the spiked model.

研究动机与目标

• 理解动量优化方法在高维非凸景观中的平均动力学行为。
• 分析 Heavy Ball 和 Nesterov 加速法是否在推断问题中提升信号恢复的算法阈值。
• 应用动力学平均场理论，推导动量方法在无限维极限下的闭式演化方程。
• 比较加速方法与原始梯度下降法在收敛速度和恢复阈值方面的性能。
• 表征在不同优化算法下，稀疏矩阵-张量模型中的相变行为。

提出的方法

• 使用动力学平均场理论（DMFT）推导出描述动量方法平均动力学的一组闭合耦合常微分方程。
• 将该形式化方法应用于稀疏矩阵-张量模型，该模型是具有隐藏低秩信号的典型非凸推断问题。
• 推导出相关函数 $ C_x(t,t') $, $ C_v(t,t') $, $ R_v(t,t') $, 和 $ R_{x|v}(t,t') $ 的演化方程，以捕捉系统随时间的状态。
• 通过时间依赖的拉格朗日乘子 $ \mu(t) $ 引入球面约束，确保解始终位于半径为 $ \sqrt{N} $ 的球面上。
• 对推导出的状态演化方程进行数值积分，以研究收敛性和恢复阈值。
• 同时考虑阻尼（有质量）和无阻尼（无质量）的动力学形式，其中前者用于严格推导。

实验结果

研究问题

• RQ1 Heavy Ball 和 Nesterov 加速法如何改变高维非凸优化景观中的平均动力学？
• RQ2 与梯度下降法相比，动量方法是否在稀疏矩阵-张量模型中提升了信号恢复的算法阈值？
• RQ3 惯性和动量在穿越具有多个局部极小值的复杂非凸能量景观中起到何种作用？
• RQ4 球面约束如何影响加速优化方法的收敛行为？
• RQ5 是否存在依赖于信噪比的恢复阈值相变？不同算法在该阈值下的表现如何比较？

主要发现

• 推导出的状态演化方程在无限维极限下，为 Heavy Ball 和 Nesterov 加速法的平均动力学提供了完整的解析描述。
• 动量方法在非凸相中显著加速收敛，缩短了到达信号吸引盆的时间。
• 尽管收敛更快，但 Heavy Ball 和 Nesterov 方法在信号恢复的算法阈值方面并未优于原始梯度下降法。
• 算法阈值——即成功恢复所需的最小信噪比——对三种方法（梯度下降、Heavy Ball、Nesterov 加速）完全相同。
• 系统表现出两种动力学状态：一种是缓慢的非凸探索阶段，随后在信噪比超过阈值后迅速收敛至真实信号。
• 球面约束对于保持动力学在球面上至关重要，其通过时间依赖的拉格朗日乘子 $ \mu(t) $ 实现，该乘子自然地从形式化中浮现。