[论文解读] Lower Bounds for Non-Convex Stochastic Optimization

Yossi Arjevani, Yair Carmon+4 more|arXiv (Cornell University)|Dec 5, 2019

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文在非凸随机优化中建立了寻找 $\epsilon$-平稳点的复杂度紧下界。证明了在一般设置下，随机梯度下降（SGD）的查询复杂度为 $\epsilon^{-4}$，达到极小极大最优；在均方光滑性假设下，方差缩减方法（如 SPIDER 和 SNVRG）的复杂度为 $\epsilon^{-3}$，同样达到最优。

ABSTRACT

We lower bound the complexity of finding $ε$-stationary points (with gradient norm at most $ε$) using stochastic first-order methods. In a well-studied model where algorithms access smooth, potentially non-convex functions through queries to an unbiased stochastic gradient oracle with bounded variance, we prove that (in the worst case) any algorithm requires at least $ε^{-4}$ queries to find an $ε$ stationary point. The lower bound is tight, and establishes that stochastic gradient descent is minimax optimal in this model. In a more restrictive model where the noisy gradient estimates satisfy a mean-squared smoothness property, we prove a lower bound of $ε^{-3}$ queries, establishing the optimality of recently proposed variance reduction techniques.

研究动机与目标

• 建立在非凸随机优化中寻找 $\epsilon$-平稳点的复杂度基本极限。
• 确定随机梯度下降（SGD）和方差缩减技术在查询复杂度上的最优性。
• 分析额外结构假设（特别是均方光滑性）对算法复杂度的影响。
• 将下界扩展至主动预言机和有限和问题，表明其在不同模型中的鲁棒性。
• 弥合随机非凸优化中已知上界与理论极限之间的差距。

提出的方法

• 采用预言机模型，算法通过具有有界方差的无偏随机梯度预言机访问平滑的非凸函数 $F$。
• 构造满足 $L$-光滑性和有界方差的 $F$ 和 $g$ 的困难实例，以证明最坏情况下的下界。
• 应用信息论论证和概率耦合方法，限制 $T$ 次查询后的期望梯度范数。
• 引入一种新颖的困难函数构造方法，利用随机排列和位向量来模拟对抗性行为。
• 推导标准预言机和主动预言机的下界，包括有限和最小化设置。
• 利用对称性和排列不变性来限制进展概率，从而得出紧致的复杂度下界。

实验结果

研究问题

• RQ1 在非凸随机优化中，找到 $\epsilon$-平稳点所需的最少随机梯度查询次数是多少？
• RQ2 在具有有界方差的一般非凸设置下，随机梯度下降（SGD）是否为极小极大最优？
• RQ3 在更强假设下，方差缩减技术能否实现优于 $\epsilon^{-4}$ 的查询复杂度？
• RQ4 梯度估计器的均方光滑性属性是否能实现更优的收敛速率？
• RQ5 在更严格的预言机模型（如主动或有限和预言机）下，这些下界是否仍然成立？

主要发现

• 在具有有界方差的一般随机一阶模型中，任何随机化算法为找到 $\epsilon$-平稳点至少需要 $\Omega(\Delta L \sigma^2 \epsilon^{-4})$ 次查询。
• $\epsilon^{-4}$ 下界是紧的，证明了在该设置下随机梯度下降为极小极大最优。
• 在均方光滑性假设下，下界提升至 $\Omega(\Delta \bar{L} \sigma \epsilon^{-3} + \sigma^2 \epsilon^{-2})$，与 SPIDER 和 SNVRG 的复杂度一致。
• 这些下界对任意数量 $K$ 的并行查询均成立，维度 $d$ 随 $K$ 和 $\epsilon^{-1}$ 多项式增长。
• 结果可扩展至主动预言机和有限和问题，表明下界在不同预言机模型下具有鲁棒性。
• 即使梯度估计器形式为 $g(x,z) = \nabla_x f(x,z)$，下界依然紧致，该形式覆盖了机器学习中的经验风险最小化。