[论文解读] Convergence rate of a simulated annealing algorithm with noisy observations

Clément Bouttier, Ioana Gavra|arXiv (Cornell University)|Mar 1, 2017

Metaheuristic Optimization Algorithms Research参考文献 1被引用 15

一句话总结

本文提出一种改进的模拟退火算法，用于在噪声观测下进行随机全局优化，推导出在给定精度和置信水平下最小化函数评估次数的优化参数收敛速率。主要贡献是理论收敛速率 $\mathcal{O}(t^{-(\delta_2 - \delta_1)})$，并通过标准基准问题和实际应用的数值实验得到验证。

ABSTRACT

In this paper we propose a modified version of the simulated annealing algorithm for solving a stochastic global optimization problem. More precisely, we address the problem of finding a global minimizer of a function with noisy evaluations. We provide a rate of convergence and its optimized parametrization to ensure a minimal number of evaluations for a given accuracy and a confidence level close to 1. This work is completed with a set of numerical experimentations and assesses the practical performance both on benchmark test cases and on real world examples.

研究动机与目标

• 解决函数评估受噪声污染的随机全局优化挑战。
• 开发一种改进的模拟退火算法，能够处理噪声观测，同时保持收敛性保证。
• 推导该算法的收敛速率，并优化其参数，以最小化达到目标精度和置信水平所需的函数评估次数。
• 通过标准基准和实际应用的数值实验验证理论结果。
• 为在函数评估成本高或存在噪声的场景下使用模拟退火提供实用框架，平衡计算成本与解的质量。

提出的方法

• 通过引入蒙特卡洛估计器来近似期望目标函数，将经典模拟退火算法改进以处理噪声观测。
• 使用样本平均估计器 $\widehat{\mathbb{E}}_{\omega,N}(U(x,\omega)) = \frac{1}{N}\sum_{i=1}^N U(x,\omega_i)$，利用 $N$ 个独立同分布样本近似真实期望。
• 引入按幂律衰减的温度调度 $T_t$，其中 $T_t \propto t^{-\delta_1}$，以控制探索与收敛的平衡。
• 建立到最优解的期望平方距离 $u_t = \mathbb{E}[\|x_t - x^*\|^2]$ 的递推关系，并推导出一个微分不等式以限制其衰减速率。
• 应用格朗沃尔类型论证和积分估计，限制收敛速率，从而在温度调度满足适当条件下得到 $u_t = \mathcal{O}(t^{-(\delta_2 - \delta_1)})$。
• 优化参数 $\delta_1$ 和 $\delta_2$，以最小化达到给定精度 $\epsilon$ 所需的评估次数。

实验结果

研究问题

• RQ1 当函数评估受噪声污染时，模拟退火算法的收敛速率是什么？
• RQ2 如何优化算法参数，以最小化达到给定目标精度和置信水平所需的函数评估次数？
• RQ3 与现有随机优化方法相比，改进的模拟退火算法在收敛速度和计算效率方面表现如何？
• RQ4 理论收敛速率是否可通过标准基准和实际问题的数值实验得到验证？
• RQ5 噪声结构对收敛行为有何影响？算法如何增强对噪声的鲁棒性？

主要发现

• 在幂律温度调度下，所提算法实现收敛速率 $\mathcal{O}(t^{-(\delta_2 - \delta_1)})$，其中 $\delta_1 < \delta_2$。
• 当参数 $\delta_1$ 和 $\delta_2$ 优化后，达到精度 $\epsilon$ 且置信度高的函数评估次数最小化，其中 $\Gamma_\gamma \simeq \frac{1}{\gamma}$ 控制速率常数。
• 数值实验在标准基准函数和实际工业问题上均验证了理论收敛速率，显示出良好的实际效率。
• 该算法在每次迭代中保持低内存和计算成本，适用于函数评估成本低但存在噪声的问题。
• 在目标函数有界且估计器一致的前提下，收敛速率对噪声具有鲁棒性，理论保证在较弱正则性假设下成立。
• 当 $\alpha > 2$，$\delta_2 = 1$，且 $\gamma = \alpha/2 - 1$ 时，速率常数 $\Gamma_\gamma$ 最小化，表明参数调优可实现最快收敛。