[论文解读] Escaping the Local Minima via Simulated Annealing: Optimization of Approximately Convex Functions

Alexandre Belloni, Tengyuan Liang+2 more|arXiv (Cornell University)|Jan 28, 2015

Markov Chains and Monte Carlo Methods参考文献 20被引用 12

一句话总结

本文提出一种基于模拟退火的优化方法，用于仅通过零阶预言机访问来优化近似凸函数，利用Hit-and-Run采样以逃逸局部极小值。该方法在随机零阶凸优化中实现了$Ó^*(n^{7.5}ε^{-2})$的预言机复杂度，优于先前工作，同时对非凸性和不连续性保持鲁棒性。

ABSTRACT

We consider the problem of optimizing an approximately convex function over a bounded convex set in $\mathbb{R}^n$ using only function evaluations. The problem is reduced to sampling from an \emph{approximately} log-concave distribution using the Hit-and-Run method, which is shown to have the same $\mathcal{O}^*$ complexity as sampling from log-concave distributions. In addition to extend the analysis for log-concave distributions to approximate log-concave distributions, the implementation of the 1-dimensional sampler of the Hit-and-Run walk requires new methods and analysis. The algorithm then is based on simulated annealing which does not relies on first order conditions which makes it essentially immune to local minima. We then apply the method to different motivating problems. In the context of zeroth order stochastic convex optimization, the proposed method produces an $ε$-minimizer after $\mathcal{O}^*(n^{7.5}ε^{-2})$ noisy function evaluations by inducing a $\mathcal{O}(ε/n)$-approximately log concave distribution. We also consider in detail the case when the "amount of non-convexity" decays towards the optimum of the function. Other applications of the method discussed in this work include private computation of empirical risk minimizers, two-stage stochastic programming, and approximate dynamic programming for online learning.

研究动机与目标

• 开发一种零阶优化方法，可在不依赖梯度信息的情况下，从近似凸函数中逃逸局部极小值。
• 将Hit-and-Run采样框架扩展至近似对数凹分布，实现在非理想凸性条件下的高效采样与优化。
• 在随机零阶凸优化中实现对精度（$\epsilon^{-2}$）和维度（$n^{7.5}$）的最优依赖关系，优于先前的界。
• 为在噪声或近似函数评估下的优化提供理论保证，适用于私有计算和在线学习场景。
• 设计一种具有快速混合特性的单变量采样器，用于截断的近似对数凹分布，以支持Hit-and-Run随机游走的实际实现。

提出的方法

• 将近似凸函数的优化问题转化为使用Hit-and-Run马尔可夫链对近似对数凹分布进行采样。
• 提出一种新颖的一维采样方案，能快速混合至截断的近似对数凹分布，从而高效实现Hit-and-Run随机游走。
• 采用模拟退火算法，通过逐渐降低温度的调度策略，使算法在非凸条件下仍能收敛至极小值点。
• 使用凸集$\mathcal{K}$的成员资格预言机和函数$F$的取值评估，无需梯度或次梯度信息。
• 在$\mathcal{O}^*(\sqrt{n})$个退火阶段上应用约分程序，每个阶段需$\mathcal{O}^*(n^3)$次采样，以控制总变差距离误差。
• 建立经验分布与目标吉布斯分布之间总变差距离的理论界，确保收敛至$\epsilon$-极小值点。

实验结果

研究问题

• RQ1 当仅能获得函数取值时，模拟退火能否有效优化近似凸函数？
• RQ2 在近似函数评估下，零阶随机凸优化的信息论复杂度是多少？
• RQ3 如何将Hit-and-Run采样扩展至近似对数凹分布，同时保持混合时间保证？
• RQ4 能否在零阶优化中将维度与精度的依赖关系降低至现有边界的以下？
• RQ5 当非凸性在最优解附近减弱时，对无导数优化算法的性能有何影响？

主要发现

• 所提算法在随机零阶凸优化中实现了$\mathcal{O}^*(n^{7.5}\epsilon^{-2})$的预言机复杂度，与目前已知的最佳$\epsilon$依赖关系一致。
• 该方法仅通过函数取值即可在期望意义下生成$\epsilon$-极小值点，不依赖一阶条件或梯度信息。
• 针对近似对数凹分布的Hit-and-Run采样器继承了与精确对数凹分布相同的$\mathcal{O}^*$复杂度，扩展了先前结果。
• 一维采样子程序能快速混合至截断的近似对数凹分布，从而支持完整算法的高效实现。
• 该算法对不连续性和非凸性具有鲁棒性，即使函数仅为$\mathcal{O}(\epsilon/n)$-近似凸，其误差仍被控制在$\mathcal{O}^*(n^{7.5}\epsilon^{-2})$以内。
• 最终分布与目标吉布斯分布的差距为$e\gamma$，且$\gamma$以对数形式影响复杂度，确保对预言机计数的影响最小化。