[论文解读] Adaptive Accelerated Gradient Converging Methods under Holderian Error Bound Condition

Mingrui Liu, Tianbao Yang|arXiv (Cornell University)|Nov 23, 2016

Sparse and Compressive Sensing Techniques参考文献 19被引用 10

一句话总结

该论文提出了一类自适应加速梯度方法，在 Hölderian 误差界（HEB）条件下实现线性收敛，利用近端梯度模长作为动态重启与终止准则。该方法在无需了解问题特定常数的情况下，实现了对半代数、强制及范数正则化问题的全局线性收敛，为文献中此类问题首次提出无需参数调整的全局线性收敛算法。

ABSTRACT

Recent studies have shown that proximal gradient (PG) method and accelerated gradient method (APG) with restarting can enjoy a linear convergence under a weaker condition than strong convexity, namely a quadratic growth condition (QGC). However, the faster convergence of restarting APG method relies on the potentially unknown constant in QGC to appropriately restart APG, which restricts its applicability. We address this issue by developing a novel adaptive gradient converging methods, i.e., leveraging the magnitude of proximal gradient as a criterion for restart and termination. Our analysis extends to a much more general condition beyond the QGC, namely the Hölderian error bound (HEB) condition. {\it The key technique} for our development is a novel synthesis of {\it adaptive regularization and a conditional restarting scheme}, which extends previous work focusing on strongly convex problems to a much broader family of problems. Furthermore, we demonstrate that our results have important implication and applications in machine learning: (i) if the objective function is coercive and semi-algebraic, PG's convergence speed is essentially $o(\frac{1}{t})$, where $t$ is the total number of iterations; (ii) if the objective function consists of an $\ell_1$, $\ell_\infty$, $\ell_{1,\infty}$, or huber norm regularization and a convex smooth piecewise quadratic loss (e.g., squares loss, squared hinge loss and huber loss), the proposed algorithm is parameter-free and enjoys a {\it faster linear convergence} than PG without any other assumptions (e.g., restricted eigen-value condition). It is notable that our linear convergence results for the aforementioned problems are global instead of local. To the best of our knowledge, these improved results are the first shown in this work.

研究动机与目标

• 为解决加速近端梯度（APG）方法的局限性，即其最优性能依赖于二次增长条件（QGC）常数的知识。
• 将收敛保证从 QGC 扩展至更一般的 Hölderian 误差界（HEB）条件。
• 设计一种自适应机制，利用近端梯度模长实现自动重启与终止，消除对调参的需求。
• 为包括 ℓ₁、ℓ∞、ℓ₁,∞ 或 Huber 范数正则化以及光滑分段二次损失的广泛机器学习问题建立全局线性收敛性。
• 证明所提方法在无需受限特征值条件等额外假设下，收敛速度优于标准 PG 方法。

提出的方法

• 提出一种新颖的自适应正则化技术，根据观测到的近端梯度模长动态调整算法行为。
• 设计一种条件重启机制，当近端梯度低于由当前迭代进度导出的阈值时触发。
• 以 HEB 条件作为收敛性分析的理论基础，实现对强凸性和 QGC 的推广。
• 将该框架应用于包含光滑、凸、分段二次损失以及各类范数正则化的复合优化问题。
• 结合自适应正则化与重启逻辑，确保收敛性，且无需事先知晓问题参数。
• 采用类似线搜索的策略，基于近端梯度的下降行为确定重启点，从而保证鲁棒性与效率。

实验结果

研究问题

• RQ1 能否设计出自适应重启策略，在无需事先知晓 HEB 参数的情况下，于更一般的 HEB 条件下实现线性收敛？
• RQ2 是否可能通过一种自适应、无需参数的算法，实现对半代数与强制优化问题的全局线性收敛？
• RQ3 在相同条件下（尤其在无受限特征值假设时），所提方法与标准近端梯度法及 APG 相比，收敛速率如何？
• RQ4 基于近端梯度模长的自适应机制能否可靠地触发重启与终止，而无需人工调参？
• RQ5 哪些类型的机器学习问题能从所提方法的全局线性收敛性与无参数特性中获益？

主要发现

• 所提自适应加速梯度方法在 Hölderian 误差界（HEB）条件下实现了全局线性收敛，其适用范围超越了二次增长与强凸性。
• 对于强制与半代数目标函数，近端梯度法的收敛速率为 o(1/t)，快于一般非强凸设置下的次线性收敛速率。
• 当目标函数包含 ℓ₁、ℓ∞、ℓ₁,∞ 或 Huber 范数正则化，并与凸的光滑分段二次损失结合时，该算法的线性收敛速度优于标准 PG，且无需额外假设（如受限特征值条件）。
• 该方法为无参数方法，因其仅通过近端梯度模长动态确定重启与终止点，无需调参常数。
• 该线性收敛为全局收敛，而非局部收敛，相较于以往工作通常要求初始化在解的邻域内，本方法实现了显著改进。
• 据作者所知，这是首项在 HEB 条件下，无需额外结构假设，为该类问题建立全局线性收敛性的研究工作。