[论文解读] Frank-Wolfe with Subsampling Oracle

Thomas Kerdreux, Fabián Pedregosa+1 more|arXiv (Cornell University)|Mar 20, 2018

Stochastic Gradient Optimization Techniques参考文献 8被引用 6

一句话总结

本文提出了两种随机化Frank-Wolfe变体，用子采样的线性最小化预言机替代完整的线性最小化预言机，实现了与确定性方法相同的收敛速率：标准Frank-Wolfe为次线性收敛，Away-step Frank-Wolfe为线性收敛。该方法通过采样原子降低了每次迭代的计算成本，在大规模或流式处理场景中实现了更快的收敛速度，同时不损失理论保证。

ABSTRACT

We analyze two novel randomized variants of the Frank-Wolfe (FW) or conditional gradient algorithm. While classical FW algorithms require solving a linear minimization problem over the domain at each iteration, the proposed method only requires to solve a linear minimization problem over a small \\emph{subset} of the original domain. The first algorithm that we propose is a randomized variant of the original FW algorithm and achieves a $\\mathcal{O}(1/t)$ sublinear convergence rate as in the deterministic counterpart. The second algorithm is a randomized variant of the Away-step FW algorithm, and again as its deterministic counterpart, reaches linear (i.e., exponential) convergence rate making it the first provably convergent randomized variant of Away-step FW. In both cases, while subsampling reduces the convergence rate by a constant factor, the linear minimization step can be a fraction of the cost of that of the deterministic versions, especially when the data is streamed. We illustrate computational gains of the algorithms on regression problems, involving both $\\ell_1$ and latent group lasso penalties.

研究动机与目标

• 解决Frank-Wolfe算法在大规模或流式问题中全量线性最小化预言机带来的高计算成本问题。
• 开发一种随机化Frank-Wolfe算法变体，仅在每次迭代中使用原子的随机子集，以降低计算开销。
• 将该方法扩展至Away-step Frank-Wolfe算法，以在降低预言机成本的同时保持线性收敛性。
• 理论上分析两种随机化变体在子采样条件下的收敛行为，确保收敛速率与确定性方法相比仅相差常数因子。
• 在具有ℓ₁和潜在组Lasso正则化的回归问题中，展示随机化方法在实际性能上优于确定性版本。

提出的方法

• 提出随机Frank-Wolfe（RFW）算法，在每次迭代中对原子的均匀随机子集计算线性最小化预言机。
• 引入随机Away-step Frank-Wolfe（RAFW）算法，对Away-step变体应用子采样，确保在多面体上保持线性收敛性。
• 基于曲率常数的分析方法，界定了期望次优间隙，表明子采样仅使收敛速率降低常数因子。
• 确保子采样误差无需随时间减小，与某些先前的误差容许分析不同。
• 利用子采样预言机的期望梯度等于完整梯度的事实，从而支持有效的收敛性证明。
• 通过显式残差跟踪和自适应步长实现算法，以在随机化条件下保持收敛性质。

实验结果

研究问题

• RQ1 能否设计一种使用子采样子集线性最小化预言机的随机Frank-Wolfe变体，实现与确定性Frank-Wolfe算法相同的次线性收敛速率？
• RQ2 随机化版的Away-step Frank-Wolfe算法能否保持线性收敛？若能，其成立条件是什么？
• RQ3 对线性最小化预言机进行子采样是否会降低计算成本，且不使收敛速率恶化超过常数因子？
• RQ4 在实际应用中，随机化算法与确定性算法相比表现如何，特别是在大规模或流式数据场景下？
• RQ5 随机化Frank-Wolfe的理论收敛保证能否推广至非多面体域或更一般的约束集？

主要发现

• 随机Frank-Wolfe（RFW）算法在期望下实现O(1/t)的次线性收敛速率，与确定性Frank-Wolfe算法相比仅相差依赖于子采样率的常数因子。
• 随机Away-step Frank-Wolfe（RAFW）算法在多面体上实现线性（指数）收敛，是首个被严格证明收敛的随机化Away-step方法变体。
• 尽管由于子采样导致迭代次数理论上增加（RFW增加采样率的倒数倍，RAFW增加其平方倍），数值实验表明随机化变体在实践中通常优于确定性版本。
• 子采样误差无需随时间减小，使得在流式处理场景中也能实现稳定高效的计算，尤其适合分块处理数据的场景。
• 在ℓ₁-正则化和潜在组Lasso回归问题中，由于每次迭代的线性最小化成本更低，随机化算法实现了显著的计算加速，尤其当原子集合较大时优势更明显。
• 本文指出了Frandi等人（2016）先前分析中的一处缺陷，表明其收敛界因错误处理条件期望而在证明中无效。