[论文解读] Faster Convex Optimization: Simulated Annealing with an Efficient Universal Barrier

Jacob Abernethy, Elad Hazan|arXiv (Cornell University)|Jul 9, 2015

Stochastic Gradient Optimization Techniques参考文献 17被引用 5

一句话总结

该论文通过熵通用障碍函数，建立了模拟退火与内点法之间的基本等价性，从而在成员资格预言机模型下，为凸优化问题提出了一种更快的随机化算法。通过利用 Nesterov 和 Nemirovskii 的中心路径框架，作者将时间复杂度优化至 Õ(√ν n⁴)，在许多情况下（包括半定规划，其中 ν = n 而非 n²）相较先前最优结果减少了 √n 因子。

ABSTRACT

This paper explores a surprising equivalence between two seemingly-distinct convex optimization methods. We show that simulated annealing, a well-studied random walk algorithms, is directly equivalent, in a certain sense, to the central path interior point algorithm for the the entropic universal barrier function. This connection exhibits several benefits. First, we are able improve the state of the art time complexity for convex optimization under the membership oracle model. We improve the analysis of the randomized algorithm of Kalai and Vempala by utilizing tools developed by Nesterov and Nemirovskii that underly the central path following interior point algorithm. We are able to tighten the temperature schedule for simulated annealing which gives an improved running time, reducing by square root of the dimension in certain instances. Second, we get an efficient randomized interior point method with an efficiently computable universal barrier for any convex set described by a membership oracle. Previously, efficiently computable barriers were known only for particular convex sets.

研究动机与目标

• 建立模拟退火与凸优化中内点法之间的理论等价性。
• 为可通过成员资格预言机访问的任意凸集，开发一种可高效计算的通用障碍函数的随机化内点法。
• 通过优化模拟退火的温度调度，改进成员资格预言机模型下凸优化算法的时间复杂度。
• 证明：从对偶锥上对数矩生成函数的 Fenchel 对偶导出的熵障碍，是一个 O(n)-自协强障碍，其近似最优参数 ν ≤ n(1+o(1))。

提出的方法

• 将模拟退火的热路径定义为温度降低过程中退火分布的均值，并证明其与使用熵通用障碍的内点法的中心路径完全一致。
• 利用 Nesterov 和 Nemirovskii 的中心路径框架中的工具，分析并收紧模拟退火中的温度调度。
• 通过定义对偶锥上对数矩生成函数的 Fenchel 对偶，构建任意凸集的高效可计算通用障碍。
• 证明熵障碍具有参数 ν ≤ n(1+o(1)) 的自协强性质，并且在关键锥（如非负象限和 Lorentz 锥）上，其性能与已知最优障碍相差常数因子。
• 证明使用熵障碍的中心路径追踪方法是模拟退火的首阶近似，从而形式化地建立了两种方法之间的联系。
• 将改进后的温度调度应用于推导出一种新随机化算法，其时间复杂度为 Õ(√ν n⁴)，优于先前的 Õ(n⁴.⁵) 上限。

实验结果

研究问题

• RQ1 在凸优化中，模拟退火与内点法之间是否存在根本性等价？
• RQ2 熵障碍是否可作为成员资格预言机下任意凸集的高效可计算通用障碍？
• RQ3 能否通过借鉴内点理论改进模拟退火中的温度调度，从而实现更快收敛？
• RQ4 熵障碍的自协强参数 ν 是多少？其与典型凸集上已知最优障碍相比如何？
• RQ5 改进后的退火调度是否在成员资格预言机模型下实现可证明更快的运行时间？

主要发现

• 模拟退火的热路径与使用熵通用障碍的内点法的中心路径完全一致，建立了两种方法之间的深刻等价性。
• 熵障碍是一种自协强障碍，其参数 ν ≤ n(1+o(1))，且可通过对偶锥上对数矩生成函数的 Fenchel 对偶高效计算。
• 对于正半定锥，熵障碍将障碍参数从 n(n+1)/2 降低至 n，相较于标准对数行列式障碍实现了 (n+1)/2 的乘法级改进。
• 模拟退火的新温度调度实现了 Õ(√ν n⁴) 的时间复杂度，相较先前的 Õ(n⁴.⁵) 上限，提升了 Õ(√(n/ν)) 的因子。
• 在 Rⁿ×ⁿ 上的半定规划中，由于 ν = n 而非 n²，改进幅度达到 n 倍，带来显著的实际加速。
• 该方法无需显式访问障碍函数，其仅在分析中出现，因此仅通过成员资格查询即可实现实际部署。