[论文解读] A Generic online acceleration scheme for Optimization algorithms via Relaxation and Inertia

Franck Iutzeler, Julien M. Hendrickx|arXiv (Cornell University)|Mar 17, 2016

Advanced Optimization Algorithms Research参考文献 33被引用 4

一句话总结

该论文提出了一种通用的在线加速方案，用于优化算法，通过松弛和惯性机制，并利用算子的局部线性逼近自动调节参数。该方法在平均算子框架下建立了收敛性，并在Lasso和逻辑回归问题上对前向-后向、ADMM和原始-对偶方法均展现出显著的性能提升。

ABSTRACT

We propose generic acceleration schemes for a wide class of optimization and iterative schemes based on relaxation and inertia. In particular, we introduce methods that automatically tunes the acceleration coefficients online, and establish their convergence. This is made possible by considering the class of fixed-points iterations over averaged operators which encompass gradient methods, ADMM, primal dual algorithms, an so on.

研究动机与目标

• 解决固定点优化算法中松弛和惯性参数调优的挑战，这些参数通常依赖启发式方法或特定于问题的调整。
• 构建一个适用于广泛算法类别的统一框架，包括梯度法、ADMM和原始-对偶算法。
• 实现在无需预先知晓问题特定常数（如强凸性常数）的情况下，自动、在线地调节加速参数。
• 在平均算子框架下，为所提出的在线加速方法提供理论收敛性保证。
• 在真实世界问题（如Lasso和逻辑回归）上，展示所提方法在性能上显著优于标准方法和现有加速方法（如Fast ADMM）。

提出的方法

• 将优化算法建模为在平均算子上的固定点迭代，利用单调算子理论进行收敛性分析。
• 提出三种加速变体：松弛、惯性和交替惯性，作为对基础算法的外部修改。
• 针对在线参数调节，将算子在每次迭代处局部近似为仿射函数，并基于线性近似的谱性质计算最优松弛/惯性参数。
• 在平均算子框架下，推导出在线方法的收敛性证明，并在仿射情况下获得线性收敛速率。
• 通过将前向-后向、ADMM和原始-对偶算法表示为固定点迭代，并应用加速规则，将该方案应用于这些算法。
• 在Lasso和逻辑回归问题上实现并验证该方法，对比功能误差和参数演化过程，与标准方法和Fast ADMM进行比较。

实验结果

研究问题

• RQ1 能否系统性地将松弛和惯性结合为固定点算法的通用在线加速方案？
• RQ2 在缺乏对问题常数先验知识的情况下，松弛和惯性参数的最优选择是什么？
• RQ3 通过局部线性逼近实现的在线参数调节，是否能确保在多种优化算法中实现收敛性和性能提升？
• RQ4 所提出的在线方法在收敛速度和鲁棒性方面，相较于现有加速方案（如Fast ADMM）表现如何？
• RQ5 该框架能否以最小的算法修改，统一应用于前向-后向、ADMM和原始-对偶算法？

主要发现

• 所提出的在线惯性方法（OIM）在Lasso问题上实现了所有测试方法中最快的收敛速率，显著优于标准ADMM和Fast ADMM。
• 在线松弛方法（ORM）和在线交替惯性方法（OAIM）表现出稳定、单调的参数序列，与Fast ADMM和OIM的振荡行为形成鲜明对比。
• 在Lasso问题（Fa）中，OIM在50次迭代内将功能误差降低至10−15，而标准ADMM和带重启的Fast ADMM仅分别达到10−3和10−6。
• 在ℓ1-正则化逻辑回归问题（Fb）中，OIM在50次迭代内实现功能误差低于10−10，而标准ADMM和Fast ADMM的误差仍高于10−4。
• 采用在线加速的原始-对偶算法（OIM）在100次迭代内实现10−11的功能误差，证明了该方法在ADMM之外同样有效。
• 所提出的在线方法具有鲁棒性，无需重启机制，而Fast ADMM在一般情况下依赖重启才能收敛。