[论文解读] On the Iteration Complexity of Oblivious First-Order Optimization Algorithms

Yossi Arjevani, Ohad Shamir|arXiv (Cornell University)|May 11, 2016

Stochastic Gradient Optimization Techniques参考文献 16被引用 9

一句话总结

该论文为无感知一阶优化算法建立了基本的迭代复杂度下界——这些算法在调度步长时，仅依赖于光滑性和强凸性参数，而不依赖于具体函数。研究表明，对于 $L$-光滑凸函数，此类算法需要 $\Omega(\sqrt{L/\epsilon})$ 次迭代；对于 $\mu$-强凸函数，需要 $\tilde{\Omega}(\sqrt{L/\mu}\ln(1/\epsilon))$ 次迭代，采用了一种基于结构的框架，克服了经典预言机模型的局限性。

ABSTRACT

We consider a broad class of first-order optimization algorithms which are \emph{oblivious}, in the sense that their step sizes are scheduled regardless of the function under consideration, except for limited side-information such as smoothness or strong convexity parameters. With the knowledge of these two parameters, we show that any such algorithm attains an iteration complexity lower bound of $Ω(\sqrt{L/ε})$ for $L$-smooth convex functions, and $ ildeΩ(\sqrt{L/μ}\ln(1/ε))$ for $L$-smooth $μ$-strongly convex functions. These lower bounds are stronger than those in the traditional oracle model, as they hold independently of the dimension. To attain these, we abandon the oracle model in favor of a structure-based approach which builds upon a framework recently proposed in (Arjevani et al., 2015). We further show that without knowing the strong convexity parameter, it is impossible to attain an iteration complexity better than $ ildeΩ\left((L/μ)\ln(1/ε) ight)$. This result is then used to formalize an observation regarding $L$-smooth convex functions, namely, that the iteration complexity of algorithms employing time-invariant step sizes must be at least $Ω(L/ε)$.

研究动机与目标

• 理解仅依赖于光滑性和强凸性参数、而对具体优化函数无感知的一阶优化算法的根本计算极限。
• 克服经典预言机模型的局限性，该模型可能过于宽松，无法在高维情况下反映计算效率。
• 开发一种基于结构的框架，以捕捉迭代算法的动力学特性，并实现更紧致的迭代复杂度下界。
• 形式化在强凸性参数未知时算法设计中的固有权衡，表明若缺乏该知识，复杂度将显著下降。

提出的方法

• 引入 $p$-平稳标准线性迭代（p-SCLI）算法框架，将一阶方法建模为基于前 $p$ 次迭代的线性递推。
• 采用基于结构的方法，而非传统的预言机模型，聚焦于算法动力学而非基于查询的信息获取。
• 通过分析 $p$-SCLI 算法在具有已知 Hessian 结构的二次函数上的收敛行为，推导出迭代复杂度的下界。
• 应用一种重启方案（方案 4.2），根据 $L$、$\mu$ 和收敛参数重新初始化步长，以提升收敛速率。
• 利用平稳 $p$-SCLI 在重启方案下的不变性，推导出对收敛速率的约束。
• 通过谱分析和递归线性动力学，证明收敛速率从根本上受限于条件数 $\kappa = L/\mu$。

实验结果

研究问题

• RQ1 任何无感知一阶算法在 $L$-光滑凸函数中实现 $\epsilon$-最优性，至少需要多少次迭代？
• RQ2 强凸性的存在如何影响无感知算法的迭代复杂度下界？
• RQ3 能否用一种更准确反映计算效率和维度无关边界的基于结构的框架，替代经典预言机模型？
• RQ4 当算法未知强凸性参数 $\mu$ 时，迭代复杂度会发生什么变化？
• RQ5 为何标准算法如梯度下降和 Nesterov 方法能实现所推导的下界，而无法推广到高阶方法？

主要发现

• 对于 $L$-光滑凸函数，任何无感知一阶算法为实现 $\epsilon$-最优性，至少需要 $\Omega(\sqrt{L/\epsilon})$ 次迭代。
• 对于 $L$-光滑 $\mu$-强凸函数，迭代复杂度下界为 $\tilde{\Omega}(\sqrt{L/\mu}\ln(1/\epsilon))$，且与维度无关。
• 若算法未知强凸性参数 $\mu$，最佳可能的迭代复杂度退化为 $\tilde{\Omega}((L/\mu)\ln(1/\epsilon))$，表明存在根本性权衡。
• 对于 $L$-光滑凸函数，时间不变步长方案必须至少经历 $\Omega(L/\epsilon)$ 次迭代，该下界强于此前已知结果。
• 当重启方案（方案 4.2）应用于 $p$-SCLI 时，可实现 $\tilde{\mathcal{O}}(\sqrt[\alpha]{\kappa}\ln(1/\epsilon))$ 的迭代复杂度，但仅当 $\alpha \leq 1$ 时成立，这将收敛速率限制在 $\mathcal{O}(L/k)$ 以内（对平稳算法而言）。
• 结果证实，标准梯度下降法（实现 $\mathcal{O}(L/k)$ 收敛速率）在平稳 $p$-SCLI 类中是最优的，因为在无感知约束下无法实现更快的收敛速率。