[论文解读] Blended Conditional Gradients: the unconditioning of conditional gradients

Gábor Braun, Sebastian Pokutta+2 more|arXiv (Cornell University)|May 18, 2018

Sparse and Compressive Sensing Techniques参考文献 19被引用 18

一句话总结

本文提出了一种新型一阶优化方法——混合条件梯度（Blended Conditional Gradients, BCG），用于在多面体上最小化光滑凸函数。BCG结合了条件梯度步骤与基于活动顶点集的不精确梯度下降，利用弱分离 oracle 和单纯形下降 oracle，在保持稀疏性并避免投影的同时，实现了强凸函数的线性收敛。其在迭代次数和实际运行时间上均优于现有变体。

ABSTRACT

We present a blended conditional gradient approach for minimizing a smooth convex function over a polytope P, combining the Frank--Wolfe algorithm (also called conditional gradient) with gradient-based steps, different from away steps and pairwise steps, but still achieving linear convergence for strongly convex functions, along with good practical performance. Our approach retains all favorable properties of conditional gradient algorithms, notably avoidance of projections onto P and maintenance of iterates as sparse convex combinations of a limited number of extreme points of P. The algorithm is lazy, making use of inexpensive inexact solutions of the linear programming subproblem that characterizes the conditional gradient approach. It decreases measures of optimality (primal and dual gaps) rapidly, both in the number of iterations and in wall-clock time, outperforming even the lazy conditional gradient algorithms of [arXiv:1410.8816]. We also present a streamlined version of the algorithm for the probability simplex.

研究动机与目标

• 开发一种条件梯度方法，实现强凸函数的线性收敛，同时保持稀疏性并避免投影。
• 通过结合不精确 oracle 调用与基于梯度的下降步骤，提升现有条件梯度变体的实际性能。
• 设计一种懒惰、自适应的算法，根据对偶间隙估计动态选择 Frank-Wolfe、下降或删除步骤。
• 通过维护一个小型活动顶点集，实现高效与稀疏性，无需像完全校正 Frank-Wolfe 那样进行完整校正步骤。
• 在理论收敛性方面达到最先进变体的水平，同时在实际运行时间上表现更优。

提出的方法

• BCG 使用弱分离 oracle，寻找能实现 LP oracle 所能达成进度一部分的顶点，从而减少对昂贵完整 LP 求解的依赖。
• 它维护一个活动顶点集，并通过单纯形下降 oracle（SiDO）在这些顶点的凸包内执行下降步骤，以改善目标函数值或减少活动集大小。
• 算法根据对偶间隙估计的进展，交替执行 Frank-Wolfe 步骤、下降步骤和删除步骤，实现自适应的步长选择。
• 下降步骤通过在活动集上使用投影梯度下降（PGD）或简单梯度下降（SiGD）实现，步长选择以最大化进展。
• 该方法无投影，确保迭代点始终为多面体极点的稀疏凸组合。
• 针对单纯形空间，提供了一种简化版本，以优化该特定领域内的效率。

实验结果

研究问题

• RQ1 能否设计一种条件梯度方法，在保持稀疏性并避免投影的同时，实现强凸函数的线性收敛？
• RQ2 能否有效结合不精确、弱 oracle 与基于梯度的下降步骤，以提升收敛速度与实际运行性能？
• RQ3 在实践中，Frank-Wolfe、下降与删除步骤的自适应混合方式与 pairwise-step 或懒惰 CG 等现有变体相比表现如何？
• RQ4 能否高效管理活动顶点集，在不进行完整校正步骤的前提下，平衡进展与计算成本？
• RQ5 使用单纯形下降 oracle 是否能带来比标准 away-step 或 pairwise-step 方法更快的收敛速度？

主要发现

• BCG 实现了强凸函数的线性收敛，其理论收敛速率与最先进 Frank-Wolfe 变体相比，仅相差一个常数因子。
• 在多个测试实例中，BCG 在迭代次数和实际运行时间上均优于 Braun 等人（2017）提出的懒惰条件梯度（LCG）算法。
• 在包含 11 个节点的生成树多面体上，BCG 共执行了 3031 次迭代，仅调用 1501 次 LP oracle，最终解使用了 232 个顶点。
• 在 disctom 多面体上，BCG 执行了 346 次迭代，仅调用 71 次 LP oracle，最终解使用了 39 个顶点，显示出对偶间隙的快速下降。
• 尽管子问题规模较小，导致 SiDO 的加速版本未带来显著的实际运行时间提升，但略微改善了迭代次数。
• 尽管完全校正 Frank-Wolfe（FCFW）在每次迭代的进展上更优，但由于其校正步骤成本过高，BCG 在实际运行时间上仍优于 FCFW。