[论文解读] Global Non-convex Optimization with Discretized Diffusions

Murat A. Erdogdu, Lester Mackey+1 more|arXiv (Cornell University)|Oct 29, 2018

Markov Chains and Monte Carlo Methods参考文献 26被引用 8

一句话总结

本文为一般平滑、耗散扩散过程的欧拉离散化建立了全局非凸优化保证，不仅限于朗之万动力学。通过引入显式的 Stein 因子界和基于多维 Stein 方法的非渐近误差分析，为任意适用于扩散的目标函数提供了可计算的积分与优化误差界，实现了超越现有朗之万理论范围的全局优化。

ABSTRACT

An Euler discretization of the Langevin diffusion is known to converge to the global minimizers of certain convex and non-convex optimization problems. We show that this property holds for any suitably smooth diffusion and that different diffusions are suitable for optimizing different classes of convex and non-convex functions. This allows us to design diffusions suitable for globally optimizing convex and non-convex functions not covered by the existing Langevin theory. Our non-asymptotic analysis delivers computable optimization and integration error bounds based on easily accessed properties of the objective and chosen diffusion. Central to our approach are new explicit Stein factor bounds on the solutions of Poisson equations. We complement these results with improved optimization guarantees for targets other than the standard Gibbs measure.

研究动机与目标

• 将全局优化保证从朗之万算法扩展到更广泛的扩散类。
• 基于目标函数和扩散的易获取性质，提供可计算的、非渐近的积分与优化误差界。
• 开发用户友好的工具，用于评估扩散的适用性并计算 Wasserstein 耦合速率。
• 证明非 Gibbs 不变量测度可相较于标准 Gibbs 目标提供更优的优化保证。
• 识别并形式化不同扩散适用于不同类凸函数与非凸函数（包括重尾目标）的条件。

提出的方法

• 基于 Poisson 方程解的 Stein 因子界，推导出离散化扩散的显式 $\mathcal{O}(1/\epsilon^2)$ 积分误差界。
• 引入多维 Stein 方法以界 Poisson 方程解的导数，实现非渐近分析。
• 针对具有光滑系数的快速耦合扩散，推导出伪-Lipschitz 函数的一至四阶 Stein 因子界。
• 基于扩散系数和目标函数的简单性质，建立可计算的 Wasserstein 耦合速率界。
• 提出一种分析优化误差的框架，同时针对 Gibbs 与非 Gibbs 不变量测度，后者展现出更优的收敛性。
• 将理论应用于构造新型扩散，适用于标准朗之万理论未涵盖的非凸、次二次或次线性增长目标。

实验结果

研究问题

• RQ1 能否将全局优化保证从朗之万扩散扩展到其他平滑、耗散扩散，以适用于非凸目标？
• RQ2 基于 Stein 因子分析，能否推导出积分与优化的显式、非渐近误差界？
• RQ3 如何基于目标与扩散系数的易获取性质，界定向 Stein 因子？
• RQ4 非 Gibbs 不变量测度能否提供优于标准 Gibbs 测度的优化误差界？
• RQ5 哪些类非凸函数可通过除朗之万动力学外的扩散实现全局优化？

主要发现

• 本文基于 Stein 因子与扩散系数，建立了离散化扩散的 $\mathcal{O}(1/\epsilon^2)$ 积分误差界。
• 针对具有光滑系数的快速耦合扩散，推导出伪-Lipschitz 函数的一至四阶显式 Stein 因子界。
• 该框架可实现可计算的 Wasserstein 耦合速率界，进而推导出超越标准朗之万设置的收敛速率。
• 通过目标非 Gibbs 不变量测度，实现了更优的优化误差界，证明此类测度可优于标准 Gibbs 测度。
• 该理论识别出适用于优化具有次二次或次线性增长的非凸函数（如 $f(x) \propto \|x\|^{2\alpha}$，其中 $\alpha < 1$）的新扩散，这些函数超出了经典朗之万理论的适用范围。