[论文解读] Acceleration with a Ball Optimization Oracle

Yair Carmon, Arun Jambulapati+5 more|arXiv (Cornell University)|Mar 18, 2020

Sparse and Compressive Sensing Techniques参考文献 21被引用 4

一句话总结

本文提出了一种基于球形优化预言机的凸优化加速算法，该预言机返回在查询点周围半径为 r 的 ℓ₂ 球内函数的最小化点。作者实现了 O(r^{-2/3} log(1/ε)) 的查询复杂度，优于标准的 O(r^{-1} log(1/ε)) 边界，并提供了匹配的下界，证明了该复杂度的最优性。该方法通过在 Hessian 稳定性条件下高效实现预言机，显著加快了逻辑回归、ℓ∞ 回归和 ℓp 回归等回归问题的收敛速度。

ABSTRACT

Consider an oracle which takes a point $x$ and returns the minimizer of a convex function $f$ in an $\ell_2$ ball of radius $r$ around $x$. It is straightforward to show that roughly $r^{-1}\log\frac{1}ε$ calls to the oracle suffice to find an $ε$-approximate minimizer of $f$ in an $\ell_2$ unit ball. Perhaps surprisingly, this is not optimal: we design an accelerated algorithm which attains an $ε$-approximate minimizer with roughly $r^{-2/3} \log \frac{1}ε$ oracle queries, and give a matching lower bound. Further, we implement ball optimization oracles for functions with locally stable Hessians using a variant of Newton's method. The resulting algorithm applies to a number of problems of practical and theoretical import, improving upon previous results for logistic and $\ell_\infty$ regression and achieving guarantees comparable to the state-of-the-art for $\ell_p$ regression.

研究动机与目标

• 改进依赖于球形优化预言机的首阶优化方法的查询复杂度，该预言机返回给定点周围半径为 r 的 ℓ₂ 球内函数的最小化点。
• 弥合标准 O(r^{-1}) 查询复杂度与理论下界之间的差距，证明 O(r^{-2/3}) 是最优的。
• 通过改进的牛顿法，高效实现具有局部 Hessian 稳定性的函数的球形优化预言机。
• 将加速框架应用于实际回归问题，包括逻辑回归、ℓ∞ 回归和 ℓp 回归，实现最先进或改进的收敛速率。

提出的方法

• 作者采用蒙特罗-斯瓦伊特尔（Monteiro-Svaiter, MS）预言机框架的加速变体，该框架依赖于通过动态调整正则化参数 λ 求解近端子问题。
• 通过在 λ 上进行二分查找来近似求解隐式方程 λ = λ_r(y(λ))，从而实现对球形优化预言机的高效访问。
• 关键创新在于将收敛速度与距离 ‖x_{k+1} - y_k‖ 关联起来，该距离在除最后一次迭代外的所有迭代中均被 r 限制，从而实现 (R/r)^{2/3} 的复杂度。
• 对于在 r 球内 Hessian 变化不超过常数因子的函数，作者通过在 Hessian 加权范数下使用 Nesterov 的加速梯度法来实现球形预言机。
• 该方法利用了一个典型难函数（Nemirovski 函数）的鲁棒零链性质，证明了任何使用 r 局部预言机的算法均存在 Ω((R/r)^{2/3}) 的匹配下界。
• 分析采用 Yao 的最小最大原理，并结合随机投影上的集中不等式，以界定逃离 r 球的概率，从而在最坏情况输入分布下建立下界。

实验结果

研究问题

• RQ1 能否将使用球形优化预言机的首阶方法的查询复杂度提升至 O(r^{-1}) 以下？
• RQ2 O(r^{-2/3}) 的查询复杂度是否可实现且对于通过此类预言机最小化光滑凸函数而言是最优的？
• RQ3 能否高效实现具有局部稳定 Hessian 的函数的球形优化预言机？
• RQ4 该加速框架在实际回归问题（如逻辑回归和 ℓp 回归）中的表现如何？
• RQ5 当仅能获得局部预言机访问（在 r 球内）时，优化的信息论极限是什么？

主要发现

• 所提出的算法实现了 O(r^{-2/3} log(1/ε)) 的查询复杂度，以寻找 ε-近似最小化点，显著优于标准的 O(r^{-1} log(1/ε)) 边界。
• 证明了任何使用 r 局部预言机的算法均存在匹配的下界 Ω((R/r)^{2/3})，从而确立了所提复杂度的最优性。
• 该方法显著加快了逻辑回归、ℓ∞ 回归和 ℓp 回归的收敛速度，达到或超越了最先进速率。
• 通过在 Hessian 加权的加速梯度法下，高效实现了具有局部稳定 Hessian 的函数的球形优化预言机。
• 分析表明，收敛速率取决于 MS 预言机中间点 y_k 与 x_{k+1} 之间距离的平方，该距离被 r 限制，从而实现了更优的复杂度。
• 即使对于能揭示 r 球内所有函数值（而不仅是最小化点）的 r 局部预言机，该下界依然成立，表明该复杂度极限具有鲁棒性。