[论文解读] Minding the Gaps for Block Frank-Wolfe Optimization of Structured SVMs

Anton Osokin, Jean-Baptiste Alayrac+3 more|arXiv (Cornell University)|May 30, 2016

Face and Expression Recognition参考文献 20被引用 35

一句话总结

该论文通过引入基于间隙的自适应采样、成对/远离步骤、基于块间隙的Oracle缓存以及近似正则化路径，对结构化SVM优化的块坐标Frank-Wolfe（BCFW）算法进行了改进。这些改进显著加速了收敛速度并降低了计算成本，在四个结构化预测数据集上的实验结果表明，结合基于间隙的采样与缓存时，性能提升尤为显著。

ABSTRACT

In this paper, we propose several improvements on the block-coordinate Frank-Wolfe (BCFW) algorithm from Lacoste-Julien et al. (2013) recently used to optimize the structured support vector machine (SSVM) objective in the context of structured prediction, though it has wider applications. The key intuition behind our improvements is that the estimates of block gaps maintained by BCFW reveal the block suboptimality that can be used as an adaptive criterion. First, we sample objects at each iteration of BCFW in an adaptive non-uniform way via gapbased sampling. Second, we incorporate pairwise and away-step variants of Frank-Wolfe into the block-coordinate setting. Third, we cache oracle calls with a cache-hit criterion based on the block gaps. Fourth, we provide the first method to compute an approximate regularization path for SSVM. Finally, we provide an exhaustive empirical evaluation of all our methods on four structured prediction datasets.

研究动机与目标

• 提升块坐标Frank-Wolfe（BCFW）在结构化SVM优化中的效率与收敛性。
• 利用块间隙作为次优性的度量，指导自适应采样与Oracle重用。
• 将Frank-Wolfe变体（成对与远离步骤）扩展至块坐标设置，以实现更快的收敛速度。
• 提出首个用于计算结构化SVM近似正则化路径的方法。
• 在多个结构化预测数据集上实证验证所提改进的有效性。

提出的方法

• 基于块间隙值对训练样本进行自适应非均匀采样，间隙越大表示潜在改进空间越大。
• 将成对与远离步骤引入块坐标Frank-Wolfe框架，实现线性收敛速率。
• 提出基于间隙的缓存命中判定准则，减少冗余的Oracle调用，当块间隙表明次优性变化较小时重用先前结果。
• 设计一种算法，通过利用块间隙识别断点，计算ε-近似正则化路径，实现在多个正则化参数下的高效求解。
• 利用块间隙计算对偶间隙，作为收敛性判据，并指导采样与缓存决策。
• 为正则化路径实现热启动策略，以提升效率。

实验结果

研究问题

• RQ1 块间隙能否有效用于指导BCFW中训练样本的自适应非均匀采样，从而实现更快收敛？
• RQ2 在块坐标设置下，成对与远离步骤是否相比标准BCFW能显著提升收敛速度？
• RQ3 基于间隙的准则能否通过智能缓存有效减少昂贵的Oracle调用次数？
• RQ4 能否利用块间隙计算结构化SVM的近似正则化路径？其效率如何？
• RQ5 所提各项改进组合后，在多样化的结构化预测数据集上，其在对偶间隙与运行时间上的可扩展性如何？

主要发现

• 基于间隙的自适应采样显著减少了数据的有效遍历次数，相比均匀采样大幅加速了收敛。
• 基于间隙的采样与缓存相结合，在所有测试数据集中均实现了最快收敛速度与最低运行时间。
• 在块坐标设置下，成对与远离步骤显著提升了收敛速度，尤其在优化后期阶段更为明显。
• 所提出的近似正则化路径计算方法相比网格搜索实现了显著提速，尤其在结合缓存与基于间隙采样时效果更佳。
• 在OCR-large与HorseSeg-medium等大规模数据集上，采用间隙采样与缓存的方法在24小时内达到的对偶间隙低于终止时的网格搜索结果。
• 实验结果表明，基于间隙的缓存判定准则能有效减少冗余Oracle调用，且不损害收敛质量。