[论文解读] Lower Bounds for Higher-Order Convex Optimization

Naman Agarwal, Elad Hazan|arXiv (Cornell University)|Oct 27, 2017

Sparse and Compressive Sensing Techniques参考文献 16被引用 7

一句话总结

本文建立了已知的首个 k 阶凸优化算法的下界，表明即使对于凸函数，要获得高精度解，仍需要在光滑性参数和近似容差上呈多项式数量级的迭代次数。作者证明了 Nesterov 的加速立方正则化方法近乎最优，其复杂度紧下界为 Ω((L₃/ε)^{2/11})（针对二阶方法）。

ABSTRACT

State-of-the-art methods in convex and non-convex optimization employ higher-order derivative information, either implicitly or explicitly. We explore the limitations of higher-order optimization and prove that even for convex optimization, a polynomial dependence on the approximation guarantee and higher-order smoothness parameters is necessary. As a special case, we show Nesterov's accelerated cubic regularization method to be nearly tight.

研究动机与目标

• 理解在使用 k 阶导数时，高阶优化方法在凸设置下的基本限制。
• 通过证明包含 k 阶光滑性参数的下界，填补高阶方法理论理解中的空白。
• 表明即使对于凸问题，高阶优化中对光滑性和精度的多项式依赖也是不可避免的。
• 通过证明匹配的下界，表明 Nesterov 的加速立方正则化方法近乎最优。
• 提出一种构造方法，在保持高阶光滑性的同时，确保查询点处的高阶导数为零，从而隔离光滑性对复杂度的影响。

提出的方法

• 将 k 阶优化建模为一种迭代算法，每一步接收当前点处的函数值及所有不超过 k 阶的导数。
• 通过 k 阶导数的利普希茨连续性定义 k 阶光滑性，光滑性参数为 L_{k+1}。
• 利用平滑算子 S^k_δ 构造一族凸函数，以确保 k 阶光滑性并控制导数行为。
• 通过随机归纳构造正交基向量 a₁,…,a_T，确保算法无法获得关于未来函数最小值的信息。
• 运用概率论论证，限制算法在少数迭代内识别函数最小值的可能性。
• 采用并集界和球面上的表面积估计，表明算法在每步获得关于最小值的有用信息的概率至多为 δ/T，总成功概率至少为 1−δ。

实验结果

研究问题

• RQ1 任何 k 阶算法在凸优化中实现 ε-精度所需的最少迭代次数是多少？
• RQ2 k 阶光滑性（L_{k+1}）如何影响高阶优化方法的迭代复杂度？
• RQ3 高阶方法能否在凸优化中实现与条件数或维度无关的迭代复杂度？
• RQ4 Nesterov 的加速立方正则化方法是否在对数因子意义下最优？
• RQ5 当函数 k 次可微且 k 阶光滑时，高阶优化的基本限制是什么？

主要发现

• 本文证明了任何 k 阶算法在凸优化中实现 ε-精度所需的迭代次数下界为 Ω((L_{k+1}/ε)^{2/(5k+1)})。
• 当 k=2 时，下界为 Ω((L₃/ε)^{2/11})，与目前已知的最佳上界 O((L₃/ε)^{2/7}) 几乎紧致。
• 即使在查询点处的高阶导数为零的情况下，该下界依然成立，表明光滑性约束是复杂度的关键因素。
• 该构造确保所有 k 阶导数仅依赖于半径为 kδ 内的局部函数值，从而实现对光滑性和导数行为的控制。
• 正交基向量的随机构造确保，除非算法进行了足够多的查询，否则无法以高概率预测最小值的位置。
• 该下界对确定性和随机算法均具有鲁棒性，且通过选择足够大的维度 d，可确保成功概率保持有界。