[论文解读] Boosting Frank-Wolfe by Chasing Gradients

Cyrille W. Combettes, Sebastian Pokutta|arXiv (Cornell University)|Mar 13, 2020

Sparse and Compressive Sensing Techniques参考文献 42被引用 6

一句话总结

该论文提出Boosted Frank-Wolfe（BoostFW），一种无投影算法，通过使用匹配追踪风格的子程序追踪负梯度方向，提升下降方向的对齐度，从而加速Frank-Wolfe方法。该方法实现从O(1/t)到O(e^{-ωt})的收敛速率，在每轮迭代性能和CPU时间方面均优于当前最先进方法，且无需线搜索或迭代分解。

ABSTRACT

The Frank-Wolfe algorithm has become a popular first-order optimization algorithm for it is simple and projection-free, and it has been successfully applied to a variety of real-world problems. Its main drawback however lies in its convergence rate, which can be excessively slow due to naive descent directions. We propose to speed up the Frank-Wolfe algorithm by better aligning the descent direction with that of the negative gradient via a subroutine. This subroutine chases the negative gradient direction in a matching pursuit-style while still preserving the projection-free property. Although the approach is reasonably natural, it produces very significant results. We derive convergence rates $\mathcal{O}(1/t)$ to $\mathcal{O}(e^{-ωt})$ of our method and we demonstrate its competitive advantage both per iteration and in CPU time over the state-of-the-art in a series of computational experiments.

研究动机与目标

• 为解决Frank-Wolfe算法因下降方向次优而导致的收敛缓慢问题。
• 在保持无投影特性的前提下提升收敛速度，该特性在投影计算昂贵的场景中至关重要。
• 开发一种方法，使下降方向更好地与负梯度对齐，同时不牺牲计算效率。
• 在每轮迭代进展和总CPU时间方面，与最先进变体相比展现出具有竞争力的性能。
• 在较弱假设下，提供从次线性到线性收敛速率的理论收敛保证。

提出的方法

• 该算法引入一个梯度追踪子程序，通过迭代优化下降方向，使其更贴近负梯度方向。
• 在每次迭代中，方法在约束集上执行多次线性最小化，以构建更接近-∇f(xₜ)的方向，模拟梯度下降过程。
• 最后一步通过凸组合与步长选择来最小化目标函数，保持可行性且无需投影。
• 该方法无需线搜索或显式迭代分解，简化了实现并降低了计算开销。
• 在标准假设下推导了理论收敛速率：f是L-光滑且凸的，约束集C是紧致且凸的。
• 该方法具有通用性，可应用于加速任何Frank-Wolfe风格算法。

实验结果

研究问题

• RQ1 能否通过提升Frank-Wolfe算法下降方向与负梯度的对齐度来实现加速？
• RQ2 一种无投影方法若追踪梯度方向，是否能比标准Frank-Wolfe实现更快的收敛速度？
• RQ3 此类改进的Frank-Wolfe方法可保证的理论收敛速率是什么？
• RQ4 与最先进变体相比，该方法在迭代次数和CPU时间方面的实际表现如何？
• RQ5 该方法能否在不依赖线搜索或维护迭代分解的情况下实现线性收敛？

主要发现

• BoostFW的收敛速率范围从O(1/t)到O(e^{-ωt})，具体取决于问题结构和假设条件。
• 计算实验表明，该方法在每轮迭代进展和总CPU时间方面均显著优于最先进方法。
• 该算法无需线搜索或显式分解迭代，简化了实现并降低了计算开销。
• 理论分析表明，在梯度支配性和强凸性假设下，该方法可实现指数收敛，收敛速率取决于解的稀疏性和几何结构。
• 在最坏情况下，达到ε-收敛所需的线性最小化预言机数量为O(LD²/ε)；在实际场景中，若存在足够多的下降步骤，则为O((1/ωδ²)(L/μ)ln(1/ε))^{1/p}。
• 实验结果证实，BoostFW在迭代次数和实际运行时间方面均优于现有方法，尤其在高维或稀疏场景中表现更优。