[论文解读] Efficient Convex Optimization with Membership Oracles

Yin Tat Lee, Aaron Sidford+1 more|arXiv (Cornell University)|Jun 22, 2017

Complexity and Algorithms in Graphs参考文献 8被引用 23

一句话总结

该论文提出了一种随机化算法，仅使用评估和成员资格预言机对凸集上的凸函数进行最小化，实现了 $\tilde{O}(n^2)$ 次预言机查询和 $\tilde{O}(n^3)$ 次算术运算。主要贡献在于将优化问题到分离和成员资格预言机的约化显著优化，改进了以往需要 $n^{10}$ 或 $n^{4.5}$ 次查询的界限。

ABSTRACT

We consider the problem of minimizing a convex function over a convex set given access only to an evaluation oracle for the function and a membership oracle for the set. We give a simple algorithm which solves this problem with $ ilde{O}(n^2)$ oracle calls and $ ilde{O}(n^3)$ additional arithmetic operations. Using this result, we obtain more efficient reductions among the five basic oracles for convex sets and functions defined by Grötschel, Lovasz and Schrijver.

研究动机与目标

• 开发一种在仅能访问评估和成员资格预言机时，对凸集上的凸函数进行最小化的更高效算法。
• 将凸优化的预言机复杂度降低至格罗茨施特尔、洛瓦兹和施里夫的约化所知的 $n^{10}$ 边界以下。
• 改进凸集和函数的五种基本预言机（OPT、SEP、MEM、VIOL、VAL）之间约化的效率。
• 通过新的复杂度界限，建立函数预言机（评估、次梯度）与集合预言机（成员资格、分离）之间的更紧密关系。

提出的方法

• 该算法仅使用 $\tilde{O}(n)$ 次成员资格预言机调用，构建凸集的分离预言机和函数的次梯度预言机。
• 它利用已知的从凸优化到分离预言机的约化方法，当存在分离预言机时该方法效率很高。
• 该方法使用随机游走和体积估计技术，通过成员资格查询模拟分离和次梯度预言机。
• 它采用一种经过仔细维护的椭球近似来实现随机化切平面法，以逼近可行区域。
• 该算法维护一个点 $x_0$ 和半径 $r, R$，使得 $B(x_0, r) \subseteq K \subseteq B(x_0, R)$，以确保高效的采样所需的几何规律性。
• 它利用凸共轭对偶性，将函数预言机（评估、次梯度）与集合预言机（成员资格、分离）联系起来，从而实现它们之间的约化。

实验结果

研究问题

• RQ1 能否在显著少于先前已知的 $n^{10}$ 边界下，使用更少的成员资格和评估预言机查询完成凸优化？
• RQ2 在仅使用评估和成员资格预言机的凸优化中，预言机复杂度与算术成本之间的最优权衡是什么？
• RQ3 如何高效地仅通过成员资格和评估预言机模拟分离和次梯度预言机？
• RQ4 凸优化中五种基本预言机（OPT、SEP、MEM、VIOL、VAL）之间约化的最紧复杂度界限是什么？
• RQ5 能否通过将函数预言机（评估、次梯度）约化为集合预言机（成员资格、分离）来降低其预言机复杂度？

主要发现

• 该算法以 $\tilde{O}(n^2)$ 次成员资格和评估预言机查询完成凸优化，相较于格罗茨施特尔、洛瓦兹和施里夫的 $n^{10}$ 边界有显著改进。
• 总算术成本为 $\tilde{O}(n^3)$，在给定的预言机模型下是高效的。
• 即使成员资格预言机是近似的，误差容忍度为 $(\text{mem})^{O(1)}$，该算法仍能实现 $\tilde{O}(n^2)$ 的查询复杂度。
• 从优化到分离预言机的约化现在仅需 $\tilde{O}(n)$ 次成员资格查询，优于以往的 $n^4$ 类型界限。
• 函数预言机之间的关系得到收紧：$\text{GRAD}_\delta(f) \leq O(n\log^2(n/\delta)) \cdot \text{MEM}_{(\delta/n)^{O(1)}}(K_f)$，表明次梯度查询可通过成员资格预言机高效模拟。
• 五种基本预言机（OPT、SEP、MEM、VIOL、VAL）之间的约化现在在维度 $n$ 上渐近最优，仅相差对数因子。