[论文解读] Lazifying Conditional Gradient Algorithms

Gábor Braun, Sebastian Pokutta+1 more|arXiv (Cornell University)|Oct 17, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用 5

一句话总结

本文提出了一种条件梯度算法的懒化技术，该技术用较弱但更快的分离 oracle 替代了昂贵的线性优化 oracle 调用，从而在保持收敛速率的同时，将实际运行时间显著加快，最高可达数个数量级。该方法通过缓存候选解，并仅在必要时调用完整的线性 oracle，使得在复杂可行域上实现了显著的效率提升。

ABSTRACT

Conditional gradient algorithms (also often called Frank-Wolfe algorithms) are popular due to their simplicity of only requiring a linear optimization oracle and more recently they also gained significant traction for online learning. While simple in principle, in many cases the actual implementation of the linear optimization oracle is costly. We show a general method to lazify various conditional gradient algorithms, which in actual computations leads to several orders of magnitude of speedup in wall-clock time. This is achieved by using a faster separation oracle instead of a linear optimization oracle, relying only on few linear optimization oracle calls.

研究动机与目标

• 降低条件梯度算法中线性优化 oracle 调用的计算成本，尤其是在复杂可行域上，这些调用通常代价高昂。
• 探究线性优化 oracle 是否在每次迭代中都是严格必需的，以及较弱的保证是否足以支持收敛。
• 通过缓存和早期终止实现先前计算解的重用，提升效率，同时不牺牲收敛性。
• 开发一个实用框架，在保持收敛速率的同时，大幅减少实际的 oracle 调用次数和实际运行时间。

提出的方法

• 引入一种弱分离 oracle，其返回一个使目标函数改进 $ K $ 倍的顶点，或报告在乘法因子内不存在此类顶点。
• 缓存先前计算的顶点，并在调用完整线性优化 oracle 前优先检查这些缓存项，从而减少昂贵调用的次数。
• 利用从负向分离 oracle 响应中导出的对偶界 $ \Phi_t $ 来估计次优性，并指导收敛过程。
• 设计一种弗兰克-沃尔夫算法的懒化变体，仅在分离 oracle 无法找到改进顶点时才调用线性 oracle。
• 实现一种无参数变体，通过不断减半和线性搜索自适应调整 $ \Phi_t $，最大限度减少对调参的依赖。
• 利用这样一个事实：一旦缓存顶点的凸包包含最优解，就仅需调用缓存项，从而将真实 oracle 使用量大幅降低。

实验结果

研究问题

• RQ1 是否可以在不牺牲收敛速率的前提下，完全避免条件梯度算法每次迭代中的线性优化 oracle 调用？
• RQ2 一种较弱的分离 oracle（仅返回近似改进的顶点）是否仍能支持具有可比收敛速率的收敛？
• RQ3 在实践中，通过缓存和提前终止分离 oracle 查询，是否能显著减少实际运行时间？
• RQ4 弱分离 oracle 中近似参数 $ K $ 的选择如何影响迭代次数与计算时间之间的权衡？
• RQ5 无参数的懒化条件梯度方法变体是否能在收敛性和效率方面优于其教科书版本？

主要发现

• 与标准条件梯度方法相比，懒化条件梯度算法在复杂可行域上可实现数个数量级的实际运行时间加速。
• 弱分离 oracle 通过显著减少实际线性优化 oracle 的调用次数，带来了显著的性能提升，仅导致收敛速率的微小常数因子退化。
• 由于自适应管理 $ \Phi_t $ 和减少调参开销，懒化条件梯度算法的无参数变体在迭代次数和实际运行时间上均优于教科书版本。
• 对于线性 oracle 代价高昂的问题，懒化方法可仅通过缓存顶点实现原始问题进展，真实 oracle 调用次数最多仅对数增长。
• 增大近似参数 $ K $ 可以改善实际运行时间，但代价是每次迭代的进展变慢，表明计算与收敛速度之间存在可调的权衡。
• 一旦缓存顶点的凸包包含最优解，就不再需要进一步的真实线性优化 oracle 调用，算法完全依赖缓存解实现进展。