[论文解读] Breaking Reversibility Accelerates Langevin Dynamics for Global Non-Convex Optimization

Xuefeng Gao, Mert Gürbüzbalaban+1 more|arXiv (Cornell University)|Dec 19, 2018

Markov Chains and Monte Carlo Methods参考文献 72被引用 16

一句话总结

本文提出非可逆朗之万动力学——具体为欠阻尼朗之万动力学（ULD）与非对称漂移朗之万动力学（NLD），以加速全局非凸优化。通过打破时间可逆性，该方法改善了对局部极小值处海森矩阵最小特征值的依赖性，从而缩短达到局部极小值的首次通过时间，同时实现更快地逃离局部盆地，因此相比标准可逆朗之万动力学，提升了探索效率。

ABSTRACT

Langevin dynamics (LD) has been proven to be a powerful technique for optimizing a non-convex objective as an efficient algorithm to find local minima while eventually visiting a global minimum on longer time-scales. LD is based on the first-order Langevin diffusion which is reversible in time. We study two variants that are based on non-reversible Langevin diffusions: the underdamped Langevin dynamics (ULD) and the Langevin dynamics with a non-symmetric drift (NLD). Adopting the techniques of Tzen, Liang and Raginsky (2018) for LD to non-reversible diffusions, we show that for a given local minimum that is within an arbitrary distance from the initialization, with high probability, either the ULD trajectory ends up somewhere outside a small neighborhood of this local minimum within a recurrence time which depends on the smallest eigenvalue of the Hessian at the local minimum or they enter this neighborhood by the recurrence time and stay there for a potentially exponentially long escape time. The ULD algorithms improve upon the recurrence time obtained for LD in Tzen, Liang and Raginsky (2018) with respect to the dependency on the smallest eigenvalue of the Hessian at the local minimum. Similar result and improvement are obtained for the NLD algorithm. We also show that non-reversible variants can exit the basin of attraction of a local minimum faster in discrete time when the objective has two local minima separated by a saddle point and quantify the amount of improvement. Our analysis suggests that non-reversible Langevin algorithms are more efficient to locate a local minimum as well as exploring the state space. Our analysis is based on the quadratic approximation of the objective around a local minimum. As a by-product of our analysis, we obtain optimal mixing rates for quadratic objectives in the 2-Wasserstein distance for two non-reversible Langevin algorithms we consider.

研究动机与目标

• 解决可逆朗之万动力学在非凸优化中收敛缓慢与亚稳态的问题。
• 分析在朗之万动力学中打破时间可逆性如何改善定位局部极小值的时间尺度及逃离吸引盆的时间。
• 量化非可逆变体（ULD 与 NLD）相较于标准可逆朗之万动力学在首次通过时间与逃离时间上的改进。
• 利用非可逆扩散过程，为非凸设置下的收敛性与探索效率提供理论保证。
• 证明非可逆变体在高维、非凸景观中可实现更快的盆地逃离与更优的首次通过时间。

提出的方法

• 采用非可逆随机微分方程（SDE）作为连续时间模型，具体为欠阻尼朗之万动力学（ULD）与非对称漂移朗之万动力学（NLD）。
• 基于 Tzen 等人（2018）的框架，分析非可逆扩散过程中的亚稳态，重点关注首次通过时间与逃离时间。
• 建立首次通过时间 $\mathcal{T}_{\text{rec}}$ 的界，其与局部极小值处海森矩阵最小特征值 $m$ 的依赖关系有利，优于可逆朗之万动力学。
• 分析由这些 SDE 衍生出的离散时间算法，表明当目标函数具有被鞍点分隔的两个局部极小值时，可实现更快的盆地逃离。
• 利用海森矩阵的谱性质与矩阵范数（如 $\|H_\gamma\|$）控制非可逆动力学中的收敛性与稳定性。
• 应用一致偏差界与集中不等式（如 Doob 的鞅不等式）控制经验风险近似中的估计误差。

实验结果

研究问题

• RQ1 在朗之万动力学中打破时间可逆性如何影响首次通过时间（即到达局部极小值邻域的时间）？
• RQ2 非可逆朗之万动力学（ULD 与 NLD）是否能相比可逆朗之万动力学实现更快的局部极小值吸引盆逃离？
• RQ3 在非可逆设置下，首次通过时间与逃离时间对局部极小值处海森矩阵最小特征值的依赖关系如何？
• RQ4 非可逆朗之万动力学的离散时间实现如何改善具有多个局部极小值的非凸优化中的探索性能？
• RQ5 非可逆变体在高维、非凸景观中在多大程度上降低了亚稳态并提升了全局优化性能？

主要发现

• ULD 的首次通过时间 $\mathcal{T}_{\text{rec}}$ 与 $\mathcal{O}(1/m)$ 成比例，优于可逆朗之万动力学对最小海森特征值 $m$ 的依赖关系。
• 对于 ULD 与 NLD，首次通过时间均较标准朗之万动力学更短，且对局部极小值处海森矩阵最小特征值 $m$ 的依赖性更优。
• 当目标函数具有被鞍点分隔的两个局部极小值时，非可逆变体在离散时间下可更快逃离局部极小值吸引盆。
• 非可逆动力学的逃离时间 $\mathcal{T}_{\text{esc}}$ 仍可能呈指数级长度，但首次通过时间显著缩短，从而提升了探索效率。
• 以高概率而言，ULD 轨迹要么在首次通过时间内离开局部极小值的 $\varepsilon$-邻域，要么在该邻域内停留指数级长的逃离时间。
• 理论分析证实，非可逆朗之万算法在非凸优化中对局部极小值检测与全局状态空间探索均更高效。