[论文解读] Convex Optimization with Unbounded Nonconvex Oracles using Simulated Annealing

Oren Mangoubi|arXiv (Cornell University)|Nov 7, 2017

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文提出一种多项式时间算法，通过结合模拟退火与随机梯度朗之万动力学（SGLD），在存在无界乘法噪声与加法噪声的噪声预言机下最小化凸函数。该方法通过逐步降低温度，确保快速混合与在全局最小值附近的集中性，即使在非凸噪声下也能在预定误差范围内获得近似解。

ABSTRACT

We consider the problem of minimizing a convex objective function $F$ when one can only evaluate its noisy approximation $\hat{F}$. Unless one assumes some structure on the noise, $\hat{F}$ may be an arbitrary nonconvex function, making the task of minimizing $F$ intractable. To overcome this, prior work has often focused on the case when $F(x)-\hat{F}(x)$ is uniformly-bounded. In this paper we study the more general case when the noise has magnitude $αF(x) + β$ for some $α, β> 0$, and present a polynomial time algorithm that finds an approximate minimizer of $F$ for this noise model. Previously, Markov chains, such as the stochastic gradient Langevin dynamics, have been used to arrive at approximate solutions to these optimization problems. However, for the noise model considered in this paper, no single temperature allows such a Markov chain to both mix quickly and concentrate near the global minimizer. We bypass this by combining "simulated annealing" with the stochastic gradient Langevin dynamics, and gradually decreasing the temperature of the chain in order to approach the global minimizer. As a corollary one can approximately minimize a nonconvex function that is close to a convex function; however, the closeness can deteriorate as one moves away from the optimum.

研究动机与目标

• 解决仅能获得真实凸函数 F 的噪声近似 ˆF 时的凸优化问题，特别是当噪声无界且非凸时。
• 克服现有马尔可夫链方法（如 SGLD）在乘法与加法噪声下无法同时实现快速混合与集中性的局限。
• 开发一种多项式时间算法，在噪声形式为 |ˆF(x)−F(x)| ≤ α(F(x)−F(x*)) + β 的情况下，仍能寻找 F 的近似最小值点。
• 将先前针对有界加法噪声的工作推广至更现实的模型，其中噪声随函数值缩放，从而支持自适应计算成本。

提出的方法

• 结合模拟退火与随机梯度朗之万动力学（SGLD），通过逐步降低温度，平衡混合速度与在全局最小值附近的集中性。
• 使用真实函数 F 的平滑近似 ˜fσ 以处理非光滑性与噪声，σ 的选择用于平衡平滑性与近似精度。
• 采用依赖于当前函数值 ˆF(xk) 的温度调度 ξk，确保收敛性的同时保持混合性质。
• 应用步长 ηk = η(ξk)，其由涉及函数光滑性、梯度界与噪声水平的复杂表达式推导得出，以控制 SGLD 动力学。
• 提出一种新颖的退火调度，可在每个周期动态调整 δ、r 与 imax 等参数，以维持误差界。
• 利用集中不等式（如 Hanson-Wright）与概率界，证明算法输出以高概率落在真实最小值的期望邻域内。

实验结果

研究问题

• RQ1 是否存在一种多项式时间算法，可在仅提供具有无界、非凸噪声的噪声近似时，最小化凸函数？
• RQ2 在存在乘法与加法噪声的场景下，采用自适应温度调度的模拟退火是否优于标准 SGLD？
• RQ3 当噪声随函数值增长（特别是在最优解附近）时，算法是否仍能实现期望的误差界 ˆε？
• RQ4 在该类噪声模型下，能否同时实现快速混合与强集中性？若能，其机制为何？
• RQ5 算法运行时间如何随维度 d 与噪声参数 α、β 变化？

主要发现

• 该算法在多项式时间内实现近似最小值点 ˆx，满足 F(ˆx) − F(x*) ≤ ˆε，即使在无界非凸噪声下亦成立。
• 通过模拟退火动态降低温度，该方法确保快速混合与在全局最小值附近的集中性。
• 运行时间在 d、R、λ、˜λ、L、G、ζmax、bmax、log(1/δ) 以及涉及 α、β 与 log(R / min(εD, r')) 的项中为多项式。
• 平滑函数 ˜fσ 以乘法噪声水平 2α 与加法噪声水平 2β 近似 F，支持理论分析。
• 通过概率界与集中不等式证明了算法的收敛性，表明输出以至少 1/3 的概率落在真实最小值的期望半径内。
• 该方法推广了先前针对加法噪声（α=0）的结果，并首次为更一般的 (α,β)-噪声模型提供了多项式时间算法。