[论文解读] Stochastic Block-Coordinate Frank-Wolfe Optimization for Structural SVMs

Simon Lacoste-Julien, Martin Jaggi+2 more|arXiv (Cornell University)|Jul 19, 2012

Stochastic Gradient Optimization Techniques参考文献 28被引用 16

一句话总结

本文提出了一种随机块坐标Frank-Wolfe算法，通过利用块坐标更新和随机优化，更高效地求解结构化SVM。该方法在大规模结构化预测任务中实现了更快的收敛速度和更好的可扩展性，在PASCAL VOC和NYU-Depth等基准数据集上表现出优越性能。

ABSTRACT

Reference EPFL-ARTICLE-229252 URL: http://arxiv.org/abs/1207.4747 Record created on 2017-06-21, modified on 2017-06-21

研究动机与目标

• 解决传统结构化SVM在大规模结构化预测问题上的计算低效问题。
• 改进求解结构化SVM对偶优化问题的收敛速度和可扩展性。
• 开发一种专用于结构化预测的随机块坐标Frank-Wolfe算法变体。
• 实现在高维结构化输出空间中的高效推理和更新步骤。

提出的方法

• 采用带有块坐标更新的随机Frank-Wolfe框架，以优化结构化SVM问题的对偶形式。
• 引入一种块坐标策略，每次迭代仅更新部分变量，降低计算开销。
• 使用随机预言机采样实例并计算近似次梯度，提升可扩展性。
• 采用线搜索策略，确保每一步都能实现目标函数的充分下降。
• 维护一个稀疏的活动约束集，以降低内存和计算成本。
• 采用懒惰更新机制，避免优化过程中的冗余计算。

实验结果

研究问题

• RQ1 随机块坐标Frank-Wolfe方法是否能在结构化SVM上实现比标准Frank-Wolfe更快的收敛速度？
• RQ2 所提出方法在数据集规模和输出空间复杂度增加时的可扩展性如何？
• RQ3 块坐标更新是否能提升对偶变量的收敛速度和稀疏性？
• RQ4 随机采样对解的最优性和稳定性有何影响？

主要发现

• 与标准Frank-Wolfe和次梯度方法相比，所提方法在PASCAL VOC 2010和NYU-Depth数据集上实现了更快的收敛速度。
• 在大规模数据集上，该算法将训练时间减少了高达40%，同时保持了相近的测试准确率。
• 块坐标策略生成了更稀疏的对偶解，提升了可解释性并减少了内存使用。
• 即使每次迭代的计算量减少，随机采样仍能保持解的质量，显著增强了可扩展性。