[论文解读] Linearly Convergent Frank-Wolfe with Backtracking Line-Search

Fabián Pedregosa, Geoffrey Négiar+2 more|arXiv (Cornell University)|Jun 13, 2018

Stochastic Gradient Optimization Techniques参考文献 22被引用 7

一句话总结

本文提出了Away-steps和Pairwise Frank-Wolfe算法的不精确变体，采用回溯线搜索策略根据充分下降条件设定步长，从而无需精确线搜索或对目标函数曲率的先验知识。该方法在多面体上的强凸函数上实现线性收敛，同时在实际机器学习问题中对近似线性子问题具有实用性。

ABSTRACT

Structured constraints in Machine Learning have recently brought the Frank-Wolfe (FW) family of algorithms back in the spotlight. While the classical FW algorithm has poor local convergence properties, the Away-steps and Pairwise FW variants have emerged as improved variants with faster convergence. However, these improved variants suffer from two practical limitations: they require at each iteration to solve a 1-dimensional minimization problem to set the step-size and also require the Frank-Wolfe linear subproblems to be solved exactly. In this paper, we propose variants of Away-steps and Pairwise FW that lift both restrictions simultaneously. The proposed methods set the step-size based on a sufficient decrease condition, and do not require prior knowledge of the objective. Furthermore, they inherit all the favorable convergence properties of the exact line-search version, including linear convergence for strongly convex functions over polytopes. Benchmarks on different machine learning problems illustrate large performance gains of the proposed variants.

研究动机与目标

• 为解决Away-steps和Pairwise Frank-Wolfe方法在实际应用中的局限性，这些方法通常需要精确线搜索和精确的线性最小化Oracle。
• 开发实用的、即插即用的该类方法变体，无需事先了解目标函数的性质（如Lipschitz常数或曲率）
• 在允许线性子问题近似求解的同时，保持与精确版本相当的有利线性收敛速率
• 将Frank-Wolfe方法的适用范围扩展到精确LMO不可行的问题，如迹范数约束优化问题
• 证明在无法获得精确子问题解的情况下，回溯线搜索仍可实现与精确线搜索相同的收敛保证

提出的方法

• 提出一种基于充分下降条件的回溯线搜索策略，确保每次迭代均取得足够进展，从而确定步长
• 采用充分下降条件：$ f(x_t + \gamma d_t) \leq f(x_t) - \delta \gamma \langle \nabla f(x_t), d_t \rangle $，其中 $ \delta \in (0,1) $，用于确定步长
• 通过回溯策略求解步长选择问题，仅需在递减的步长序列上评估目标函数，直到满足条件，从而摆脱对精确线搜索的依赖
• 通过允许线性最小化Oracle返回在容差范围内的近似解，将方法推广至处理不精确线性子问题，同时保持收敛性保证
• 将该框架应用于Away-steps FW和Pairwise FW，并证明其可扩展至标准Frank-Wolfe和Matching Pursuit
• 采用基于对偶范数的分析方法推导收敛速率，利用活跃集的最小远离权重和条件数

实验结果

研究问题

• RQ1 Frank-Wolfe变体是否能在不依赖精确线搜索或目标函数曲率知识的情况下实现线性收敛？
• RQ2 使用回溯线搜索是否能保持Away-steps和Pairwise FW在多面体上强凸函数下的线性收敛速率？
• RQ3 当线性子问题以近似方式求解而非精确求解时，所提方法是否仍能保持收敛性保证？
• RQ4 不精确子问题与自适应步长对机器学习中Frank-Wolfe方法实际性能有何影响？
• RQ5 在真实世界机器学习问题中，基于回溯的变体与精确变体相比性能如何？

主要发现

• 所提出的Away-steps和Pairwise FW的回溯线搜索变体在多面体上的强凸函数上实现了线性收敛，收敛速率与目前已知的最佳理论结果一致
• 该方法无需了解目标函数的曲率或Lipschitz常数，因此在实际应用中更具实用性
• 收敛速率受以下不等式约束：$ h_{t+1} \leq \left(1 - \delta^2 \frac{\mu \cdot \text{mDW}(\mathcal{B})^2}{L_t R^2}\right) h_t $，在标准假设下可确保线性收敛
• 在$\ell_1$-正则化逻辑回归（Madelon和RCV1）以及核范数正则化Huber回归（Movielens）上的实验基准测试表明，该方法在性能上显著优于精确变体
• 通过回溯实现的大步长选择可显著加快收敛速度，尤其在Pairwise FW中表现明显，凸显了自适应步长选择的重要性
• 该方法可自然推广至Matching Pursuit，首次为MP在子问题不精确和自适应线搜索条件下的收敛性提供了理论分析