[论文解读] Lower Bound for Randomized First Order Convex Optimization

Blake Woodworth, Nathan Srebro|arXiv (Cornell University)|Sep 11, 2017

Stochastic Gradient Optimization Techniques参考文献 2被引用 15

一句话总结

本文通过使用随机正交向量构造一类最大仿射函数族，建立了随机一阶凸优化中 $Ω(L^2B^2/ε^2)$ 的紧下界，适用于利普希茨常数为 $L$ 的函数在半径为 $B$ 的欧几里得球上的优化问题。结果表明，即使在高维空间中随机方向猜测难以成功，随机化也无法将最坏情况下的复杂度降低至确定性方法以下。

ABSTRACT

We provide an explicit construction and direct proof for the lower bound on the number of first order oracle accesses required for a randomized algorithm to minimize a convex Lipschitz function.

研究动机与目标

• 通过提供随机一阶凸优化下界的一个直接且显式的构造，填补文献中的空白，该下界此前仅通过间接的递归论证建立。
• 证明在有界域上最小化 $L$-利普希茨凸函数时，随机化无法改善最坏情况下的预言机复杂度。
• 表明即使在高维空间中，尽管随机方向猜测看似具有优势，算法仍无法避免与确定性方法相同的 $Ω(L^2B^2/ε^2)$ 查询复杂度。
• 通过应用姚氏最小最大原理和球面对称性论证，提供一个自包含的证明，使该下界易于教学和进一步分析。

提出的方法

• 构造一族凸的、$1$-利普希茨函数 $f(x) = \max_{1\leq j\leq k} \left(\langle x, v_j \rangle - jc\right)$，其中 $\{v_j\}$ 是 $\mathbb{R}^d$ 中的正交向量，且 $k = 1/(4\epsilon^2)$，$c = \epsilon/k$。
• 使用随机正交基 $\{v_j\}$ 定义函数的分布，使得对手无法预先固定函数。
• 通过界定查询方向与任意满足 $j \geq t$ 的 $v_j$ 对齐的概率，分析确定性算法在 $t$ 次查询内未能找到 $\epsilon$-次最优解的概率。
• 利用高维空间中随机向量的球面对称性，通过高维球面上的面积比来界定查询方向与任一剩余 $v_j$ 具有大内积的概率。
• 应用集中不等式和不等式 $1 - x \leq e^{-x}$ 来上界每步的失败概率，从而得到 $k$ 步的乘积形式。
• 应用姚氏最小最大原理：若在随机函数分布下，确定性算法在期望上需要 $\Omega(1/\epsilon^2)$ 次查询，则任何随机算法在最坏情况下也必须需要 $\Omega(1/\epsilon^2)$ 次期望查询。

实验结果

研究问题

• RQ1 与确定性方法相比，随机化能否降低一阶凸优化中 $L$-利普希茨函数的最坏情况预言机复杂度？
• RQ2 是否存在一个显式构造，能够建立随机算法的 $\Omega(L^2B^2/\epsilon^2)$ 下界，与确定性情况相匹配？
• RQ3 在高维空间中，随机方向采样是否能有效避免一阶优化中对抗性函数结构的影响？
• RQ4 能否通过直接的概率分析而非递归或间接论证推导出该下界？
• RQ5 为确保随机方向猜测不会泄露关于函数结构的有用信息，所需的最小维度 $d$ 是多少？

主要发现

• 本文建立了任意随机一阶算法在球体半径为 $B$ 上最小化 $L$-利普希茨凸函数时，期望预言机查询次数的紧下界 $\Omega(L^2B^2/\epsilon^2)$。
• 即使维度 $d$ 足够大，具体为 $d \geq \frac{2L^8B^8}{\epsilon^8} \log\left(\frac{L^4B^4}{\epsilon^4}\right)$，该下界依然成立，确保随机方向猜测不具优势。
• 该构造使用了基于随机正交向量的极大仿射函数族，防止算法通过先前查询获得关于未来方向的有用信息。
• 当维度 $d$ 足够大时，确定性算法在 $k = \Omega(1/\epsilon^2)$ 次查询内未能找到 $\epsilon$-次最优解的概率被远离于 1，且具体超过 $15/16$。
• 根据姚氏最小最大原理，任何随机算法的期望查询次数至少为 $\Omega(1/\epsilon^2)$，从而证明随机化无法改善最坏情况下的复杂度。
• 结果确认，对于非光滑、非强凸问题，随机一阶方法在最坏情况预言机复杂度方面无法优于确定性方法。