[论文解读] Approximate Convex Optimization by Online Game Playing

Elad Hazan|ArXiv.org|Oct 19, 2006

Advanced Bandit Algorithms Research参考文献 33被引用 11

一句话总结

本文提出了一种基于在线博弈的近似凸优化新框架，实现了严格凸约束下的 O(1/ε) 迭代复杂度——显著优于标准的 O(1/ε²) 边界。该方法依赖梯度步长和基本运算，避免了昂贵的二次规划求解，并适用于最大熵估计和投资组合优化等问题。

ABSTRACT

Lagrangian relaxation and approximate optimization algorithms have received much attention in the last two decades. Typically, the running time of these methods to obtain a $ε$ approximate solution is proportional to $\frac{1}{ε^2}$. Recently, Bienstock and Iyengar, following Nesterov, gave an algorithm for fractional packing linear programs which runs in $\frac{1}ε$ iterations. The latter algorithm requires to solve a convex quadratic program every iteration - an optimization subroutine which dominates the theoretical running time. We give an algorithm for convex programs with strictly convex constraints which runs in time proportional to $\frac{1}ε$. The algorithm does NOT require to solve any quadratic program, but uses gradient steps and elementary operations only. Problems which have strictly convex constraints include maximum entropy frequency estimation, portfolio optimization with loss risk constraints, and various computational problems in signal processing. As a side product, we also obtain a simpler version of Bienstock and Iyengar's result for general linear programming, with similar running time. We derive these algorithms using a new framework for deriving convex optimization algorithms from online game playing algorithms, which may be of independent interest.

研究动机与目标

• 开发一种针对具有严格凸约束的凸规划问题的更快近似算法，改进标准的 O(1/ε²) 迭代复杂度。
• 消除在每轮迭代中求解凸二次规划的需求，该步骤在先前方法中主导了运行时间。
• 提供一个通用框架，从在线博弈算法推导出凸优化算法，具有更广泛的应用潜力。
• 为 Bienstock 和 Iyengar 的 O(1/ε) 算法提供一种更简单、更高效的线性规划版本，无需使用二次子问题。
• 通过降低计算开销，实现近似凸优化在信号处理、投资组合优化和频率估计中的实际部署。

提出的方法

• 将凸可行性问题建模为两名玩家之间的在线博弈：一名玩家选择变量 x ∈ P，另一名玩家选择约束权重 p ∈ S_m。
• 在对偶博弈中应用在线网络策略（ONS）算法，使用梯度更新和广义投影以保持可行性。
• 利用分离 oracle 检测 ε-违反约束，实现在不进行完整约束评估的情况下高效检查约束。
• 使用乘法权重算法作为基线，推导出 O(1/ε²) 结果，以证明该框架的通用性。
• 将问题转化为在线凸优化中的遗憾最小化，其中遗憾界与近似误差直接关联。
• 通过对数障碍函数对问题进行变换，将原始问题转化为适合在线遗憾最小化的形式。

实验结果

研究问题

• RQ1 是否可以系统性地利用在线博弈算法，推导出具有改进迭代复杂度的更快凸优化方法？
• RQ2 是否可能在不每轮迭代求解二次子问题的前提下，实现对具有严格凸约束的规划问题的 O(1/ε) 收敛？
• RQ3 与现有的拉格朗日松弛法和 Frank-Wolfe 风格方法相比，该框架在迭代次数和每轮计算成本方面表现如何？
• RQ4 该框架能否扩展到单纯形以外的一般凸集？其对运行时间有何影响？
• RQ5 在标准变换下，从加法近似到乘法近似的约简是否保持了改进后的 O(1/ε) 复杂度？

主要发现

• 所提出的算法在严格凸规划问题中，以 Õ(nG D / ε) 次迭代内达到 ε-近似解，其中 G 和 D 分别为梯度和定义域的有界值。
• 每次迭代的运行时间为 O(n² + T_proj + T_oracle)，其中 T_proj 为广义投影的代价，在最坏情况下使用内点法时为 O(n³)。
• 对于线性规划问题，总运行时间为 Õ(n/ε · (nm + n² + n³)) = Õ(n⁴m / ε)，快于先前方法的 O(1/ε²) 边界。
• 该框架为 Bienstock 和 Iyengar 的打包与覆盖型线性规划 O(1/ε) 算法提供了更简洁的版本，无需使用凸二次规划求解。
• 该方法在具有严格凸约束的问题（如最大熵估计和带风险约束的投资组合优化）中实现了 O(1/ε) 收敛。
• ONS 算法的遗憾界表明，在 Õ(nGD/(εω)) 次迭代后，解与最优值的差距在 ε 以内，其中 ω 为实例的宽度。