[论文解读] Accelerating Nonconvex Learning via Replica Exchange Langevin Diffusion

Yi Chen, Jing‐Lin Chen+3 more|arXiv (Cornell University)|Jul 4, 2020

Stochastic Gradient Optimization Techniques被引用 17

一句话总结

本文提出复制交换洛伦兹扩散（RELD），通过结合高温（全局探索）与低温（局部开发）的洛伦兹扩散并交换状态，以加速非凸优化。该方法通过提升狄利克雷型式和大偏差率函数，实现更快收敛至全局最小值，具有理论保证，并通过离散化算法在实验中表现出优于标准洛伦兹动力学的性能。

ABSTRACT

Langevin diffusion is a powerful method for nonconvex optimization, which enables the escape from local minima by injecting noise into the gradient. In particular, the temperature parameter controlling the noise level gives rise to a tradeoff between ``global exploration'' and ``local exploitation'', which correspond to high and low temperatures. To attain the advantages of both regimes, we propose to use replica exchange, which swaps between two Langevin diffusions with different temperatures. We theoretically analyze the acceleration effect of replica exchange from two perspectives: (i) the convergence in χ^2-divergence, and (ii) the large deviation principle. Such an acceleration effect allows us to faster approach the global minima. Furthermore, by discretizing the replica exchange Langevin diffusion, we obtain a discrete-time algorithm. For such an algorithm, we quantify its discretization error in theory and demonstrate its acceleration effect in practice.

研究动机与目标

• 通过洛伦兹扩散解决非凸优化中全局探索与局部开发之间的权衡问题。
• 通过在高温与低温洛伦兹过程之间引入复制交换，加速收敛至全局最小值。
• 利用狄利克雷型式与大偏差原理，理论量化复制交换带来的加速效应。
• 通过欧拉离散化方法开发离散时间算法，并保证有界误差。
• 通过实证验证复制交换相较于单一温度洛伦兹动力学的优越性。

提出的方法

• 使用两个独立的洛伦兹扩散过程，温度不同：高温用于探索，低温用于开发。
• 基于梅特罗波利斯-黑斯廷斯规则在两个扩散过程之间实现交换机制，以促进跨温度探索。
• 分析联合过程的无穷小生成元，识别复制交换项带来的加速效应。
• 应用马尔可夫半群理论与狄利克雷型式，证明χ²-分歧向不变分布衰减速度加快。
• 利用大偏差原理（LDP）证明经验测度偏离不变分布的概率呈更快指数衰减。
• 通过欧拉格式对过程进行离散化，并利用格朗沃尔不等式界定离散化误差。

实验结果

研究问题

• RQ1 复制交换如何提升非凸优化中洛伦兹扩散的收敛速率？
• RQ2 复制交换通过何种理论机制加速混合与收敛？
• RQ3 高温与低温扩散的结合如何提升采样效率，相较于单一温度洛伦兹动力学？
• RQ4 交换强度与温度选择对算法性能有何影响？
• RQ5 复制交换洛伦兹扩散的离散化版本能否保持理论收敛保证？

主要发现

• 复制交换通过引入非负项提升狄利克雷型式，加速χ²-分歧向不变分布的衰减，从而加快收敛速度。
• 通过复制交换改善了庞加莱常数，从指数收敛速率角度量化了加速效应。
• 复制交换提高了大偏差原理的率函数，意味着经验测度偏离不变分布的概率衰减更快。
• 数值实验表明，RELD在寻找全局最小值方面始终优于仅使用高温或低温的单一温度洛伦兹动力学。
• 离散化RELD算法在格朗沃尔不等式下保持有界误差，具备理论稳定性保证。
• 实证结果证实，适度的交换强度与充分分离的温度设置可实现最优性能，尤其在多峰非凸景观中表现更优。