[论文解读] Asynchronous Parallel Block-Coordinate Frank-Wolfe

Yuxiang Wang, Veeranjaneyulu Sadhanala+4 more|arXiv (Cornell University)|Sep 22, 2014

Stochastic Gradient Optimization Techniques参考文献 41被引用 5

一句话总结

该论文提出了一种用于具有块可分约束的光滑凸优化的异步并行块坐标Frank-Wolfe算法，支持在小批量内实现鲁棒且对延迟节点不敏感的更新。与同步BCFW相比，该方法在大批次大小下实现了可证明的加速，且在结构化SVM上表现出显著的实证性能提升。

ABSTRACT

We develop mini-batched parallel Frank-Wolfe (conditional gradient) methods for smooth convex optimization subject to block-separable constraints. Our work includes the basic (batch) Frank-Wolfe algorithm as well as the recently proposed Block-Coordinate Frank-Wolfe (BCFW) method\citep{lacoste2012block} as special cases. Our algorithm permits asynchronous updates within the minibatch, and is robust to stragglers and faulty worker threads. Our analysis reveals how the potential speedups over BCFW depend on the minibatch size and how one can provably obtain large problem dependent speedups. We present several experiments to indicate empirical behavior of our methods, obtaining significant speedups over competing state-of-the-art (and synchronous) methods on structural SVMs.

研究动机与目标

• 解决大规模机器学习中具有结构化约束的可扩展并行优化需求。
• 通过在块坐标Frank-Wolfe算法中启用异步更新，克服同步方法的局限性。
• 在分布式环境中确保对延迟节点和故障工作线程的鲁棒性。
• 提供与小批量大小和问题结构相关的加速潜力的理论保证。
• 在实际学习任务中实现相对于最先进同步方法的实用效率提升。

提出的方法

• 设计一种小批量并行Frank-Wolfe框架，该框架同时推广标准Frank-Wolfe和块坐标Frank-Wolfe（BCFW）算法。
• 允许在每个小批量内进行异步更新，将工作线程与同步障碍解耦。
• 即使存在异步性以及工作线程延迟或故障，仍保持收敛保证。
• 利用块可分约束，实现变量块之间的分解与并行化。
• 将条件梯度步骤与异步块更新相结合，在协调要求较低的条件下保持收敛性。
• 利用问题相关结构，推导出相对于同步BCFW的可证明加速边界。

实验结果

研究问题

• RQ1 与同步方法相比，块坐标Frank-Wolfe中的异步更新在多大程度上能提升收敛速度？
• RQ2 小批量大小在理论和实证上如何影响相对于同步BCFW的加速效果？
• RQ3 所提出的方法在存在延迟工作节点和故障线程的情况下是否仍能保持收敛性和鲁棒性？
• RQ4 问题结构与异步设置下的可实现加速之间存在何种关系？
• RQ5 该方法在真实世界学习任务（如结构化SVM）中的实际表现如何？

主要发现

• 所提出的异步并行Frank-Wolfe方法在结构化SVM上相对于最先进同步方法实现了显著的实证加速。
• 理论分析表明，加速效果随小批量大小和问题相关曲率而增长，从而在结构化问题上实现大幅性能提升。
• 该方法对延迟节点和故障工作线程具有鲁棒性，在无同步瓶颈的情况下仍能保持收敛。
• 该框架统一了标准Frank-Wolfe和BCFW的优点，将二者的优势整合于并行异步设置中。
• 实证结果证实，该方法在训练时间上优于同步基线方法，同时保持了解的质量。