[论文解读] Simulated Annealing: Rigorous finite-time guarantees for optimization on continuous domains

Andrea Lecchini‐Visintini, John Lygeros+1 more|ArXiv.org|Sep 19, 2007

Machine Learning and Algorithms参考文献 30被引用 21

一句话总结

本文通过利用马尔可夫链蒙特卡洛（MCMC）方法的收敛性理论，首次为连续优化领域中的模拟退火提供了严格的有限时间保证。它证明了在已知步数内，以高置信度，该算法可找到与全局最优解在指定容差范围内的解，且不依赖于目标函数的结构。

ABSTRACT

Simulated annealing is a popular method for approaching the solution of a global optimization problem. Existing results on its performance apply to discrete combinatorial optimization where the optimization variables can assume only a finite set of possible values. We introduce a new general formulation of simulated annealing which allows one to guarantee finite-time performance in the optimization of functions of continuous variables. The results hold universally for any optimization problem on a bounded domain and establish a connection between simulated annealing and up-to-date theory of convergence of Markov chain Monte Carlo methods on continuous domains. This work is inspired by the concept of finite-time learning with known accuracy and confidence developed in statistical learning theory.

研究动机与目标

• 弥合模拟退火在连续优化问题中理论保证的空白，此前的研究仅能保证渐近收敛。
• 提供有限时间性能边界，确保在用户指定容差范围内以高概率逼近全局最优解。
• 将模拟退火与连续空间上MCMC方法的现代收敛性理论统一，实现性能的严格量化。
• 提出一个通用框架，用于推导具有可证明有限时间精度和置信水平的新模拟退火算法。
• 通过避免对目标函数 $ U $ 的假设，保持通用性，确保适用于任意有界域的连续优化问题。

提出的方法

• 在连续域上引入基于Metropolis-Hastings算法的模拟退火广义形式化。
• 采用随时间递减的温度调度，引导马尔可夫链向目标函数的全局最小值点收敛。
• 使用带参数 $ \rho \in (0,1] $ 的变换目标函数 $ U_{\rho,\rho} $，以控制探索与利用的权衡。
• 应用连续空间MCMC理论中的定量收敛边界，估算马尔可夫链的混合时间。
• 推导出采样状态为 $ \epsilon $-近似全局最优解的概率下界 $ \sigma $，其中残差域为 $ \alpha $。
• 建立置信参数 $ \rho, \bar{\alpha} $ 与最终精度 $ \epsilon, \alpha $ 之间的双射关系，实现算法参数的反向设计。

实验结果

研究问题

• RQ1 能否在连续优化领域中，为模拟退火严格建立有限时间性能保证？
• RQ2 如何在已知步数内，以精度和置信度两个维度量化模拟退火的收敛性？
• RQ3 算法参数（如温度调度、提议分布）与其有限时间性能之间的关系是什么？
• RQ4 能否利用连续空间MCMC收敛理论推导出此类保证，而无需对目标函数的特定性质做假设？
• RQ5 如何设计一种模拟退火算法，确保在有限且可预测的迭代次数内，以高概率逼近全局最优解？

主要发现

• 本文首次为连续域上的模拟退火建立了有限时间、高置信度的保证，确保在用户定义的容差范围内找到解。
• 证明了对于任意期望精度 $ \epsilon \in [0,1] $ 和残差域 $ \alpha \in (0,1] $，均存在一个有限步数 $ J $，使得该算法以至少 $ \sigma $ 的概率找到 $ \epsilon $-近似全局最优解。
• 置信度 $ \sigma $ 被显式地从下界界定为 $ \epsilon, \alpha, \delta $ 和步数 $ J $ 的函数，其中 $ \sigma = \left(1 + \rho^J \frac{1-\bar{\alpha}}{\bar{\alpha}} \frac{1+\delta}{\delta} \right)^{-1} $。
• 变换 $ \tilde{\epsilon} = (\rho^{-1} - 1)(1 + \delta) $ 将算法内部参数 $ \rho $ 与最终精度 $ \epsilon $ 联系起来，支持针对期望性能的参数调优。
• 残差域 $ \tilde{\alpha} = \frac{1+\delta}{\tilde{\epsilon} + \delta} \bar{\alpha} $ 衡量了目标函数值超过当前解 $ \tilde{\epsilon} $ 以上的区域占总域的比例，并通过置信参数 $ \bar{\alpha} $ 实现有界控制。
• 结果对任意有界域上的连续目标函数 $ U $ 均成立，无需假设凸性、光滑性或其他结构特性。