[论文解读] General Convergence Rates Follow From Specialized Rates Assuming Growth Bounds

Benjamin Grimmer|arXiv (Cornell University)|May 15, 2019

Sparse and Compressive Sensing Techniques参考文献 18被引用 4

一句话总结

本文提出一个元定理，通过假设 Hölder 增长界（包括二次增长和尖锐增长），将特定收敛速率推广至一般凸优化问题，推导出首阶优化方法的一般收敛速率。通过利用现有在增长假设下收敛证明的结构，该方法在不修改算法的前提下，将这些速率推广至一般凸情形，实现了所有设置下的统一分析，且开销极小。

ABSTRACT

Often in the analysis of first-order methods, assuming the existence of a quadratic growth bound (a generalization of strong convexity) facilitates much stronger convergence analysis. Hence the analysis is done twice, once for the general case and once for the growth bounded case. We give a meta-theorem for deriving general convergence rates from those assuming a growth lower bound. Applying this simple but conceptually powerful tool to the proximal point method, the subgradient method, and the bundle method immediately recovers their known convergence rates for general convex optimization problems from their specialized rates. Future works studying first-order methods can assume growth bounds for the sake of analysis without hampering the generality of the results. Our results can be applied to lift any rate based on a Hölder growth bound. As a consequence, guarantees for minimizing sharp functions imply guarantees for both general functions and those satisfying quadratic growth.

研究动机与目标

• 解决为一般凸问题与具有增长界问题（如二次或尖锐增长）分别推导收敛速率的低效问题。
• 通过证明在增长假设下推导出的速率可系统性地转化为一般速率，消除冗余分析的需要。
• 为包括近端点法、次梯度法和集合法在内的多种首阶方法提供通用框架。
• 使研究人员可在分析过程中假设增长界，同时不损失最终收敛保证的普遍性。
• 为基于 Hölder 增长界的收敛速率提升至一般凸情形提供理论基础。

提出的方法

• 提出一个元定理，将基于 Hölder 增长界 $ F(x) \geq F(x^*) + \alpha \|x - x^*\|^p $ 假设下推导出的收敛速率，转化为适用于凸函数的一般速率。
• 假设该方法满足 (A1)–(A3)：对函数值和次梯度值的依赖性、有界迭代序列，以及在增长条件下收敛。
• 将该提升技术应用于三种标准方法：近端点法、次梯度法和集合法，从特定速率中恢复出已知的一般速率。
• 通过分析增长参数 $\alpha$、初始距离 $\|x_0 - x^*\|$ 与期望精度 $\epsilon$ 之间的相互作用，推导出边界。
• 利用对数和反函数依赖关系，控制一般情形下达到 $\epsilon$-精度所需的迭代次数。
• 利用在增长假设下已知的收敛速率（例如，Du 和 Ruszczyński 对集合法的结果），并应用元定理推导出一般速率。

实验结果

研究问题

• RQ1 能否在不修改算法的前提下，系统性地将基于增长界的收敛速率转换为一般凸收敛速率？
• RQ2 在较弱假设下，现有首阶方法的特定收敛速率在多大程度上蕴含一般速率？
• RQ3 通过假设增长界，如何简化集合法等复杂方法的分析？
• RQ4 首阶方法需满足何种最小结构要求，才能使该提升技术适用？
• RQ5 该提升框架能否推广至二次和尖锐增长之外的任意 Hölder 增长界？

主要发现

• 近端点法的一般收敛速率为 $ O(\|x_0 - x^*\|^2 / \epsilon) $，由其在二次增长下的特定速率恢复得出。
• 次梯度法的一般速率为 $ O(\|x_0 - x^*\|^2 / \epsilon^2) $，与已知界一致，由其尖锐增长速率推导得出。
• 对于集合法，一般速率为 $ O(\|x_0 - x^*\|^4 / \epsilon^3) $，与 Kiwiel 的结果在对数因子内一致。
• 该提升技术在各类方法中统一适用，且无需修改算法，保持了原始方法的结构。
• 推导出的一般速率是紧致的，与已有界一致，证实了该方法的正确性与实际效用。
• 该框架使研究人员可在分析中假设增长界，同时仍能获得有效且普遍适用的收敛保证。