[论文解读] On the Online Frank-Wolfe Algorithms for Convex and Non-convex Optimizations

Jean Lafond, Hoi-To Wai+1 more|arXiv (Cornell University)|Oct 5, 2015

Stochastic Gradient Optimization Techniques参考文献 3被引用 8

一句话总结

本文提出了一种在线弗兰克-沃尔夫（O-FW）和在线远离步弗兰克-沃尔夫（O-AW）算法，用于在随机代价设置下的凸与非凸优化。在强凸性和内部/多面体约束条件下，该方法实现了改进的遗憾界 𝒪(log³T/T) 和任意时间最优性 𝒪(log²T/T)，同时在非凸设置下实现了对驻点的 𝒪(1/√T) 收敛速率——且无需自适应步长或混合方案。

ABSTRACT

In this paper, the online variants of the classical Frank-Wolfe algorithm are considered. We consider minimizing the regret with a stochastic cost. The online algorithms only require simple iterative updates and a non-adaptive step size rule, in contrast to the hybrid schemes commonly considered in the literature. Several new results are derived for convex and non-convex losses. With a strongly convex stochastic cost and when the optimal solution lies in the interior of the constraint set or the constraint set is a polytope, the regret bound and anytime optimality are shown to be ${\cal O}( \log^3 T / T )$ and ${\cal O}( \log^2 T / T)$, respectively, where $T$ is the number of rounds played. These results are based on an improved analysis on the stochastic Frank-Wolfe algorithms. Moreover, the online algorithms are shown to converge even when the loss is non-convex, i.e., the algorithms find a stationary point to the time-varying/stochastic loss at a rate of ${\cal O}(\sqrt{1/T})$. Numerical experiments on realistic data sets are presented to support our theoretical claims.

研究动机与目标

• 开发简单、非自适应的在线投影-free算法，用于约束优化，避免混合方案带来的计算开销。
• 在强凸性下，建立在线弗兰克-沃尔夫的快速遗憾与任意时间最优性边界，特别是当最优解位于约束集内部或集合为多面体时。
• 将收敛保证扩展至非凸损失函数，首次在投影-free在线设置中证明了对驻点的 𝒪(1/√T) 收敛速率。
• 通过在真实世界数据集上的数值实验验证理论结论，包括在线矩阵补全和鲁棒二分类任务。

提出的方法

• 采用非自适应步长规则，并基于在线计算的累积梯度作为真实期望损失梯度的代理进行迭代更新。
• 在在线设置中应用经典的弗兰克-沃尔夫和远离步弗兰克-沃尔夫更新规则，将真实梯度替换为每轮的随机估计。
• 采用改进的分析框架，在强凸性和特定约束集结构（内部点或多面体）下推导出更紧致的遗憾与最优性边界。
• 使用集中不等式（Hoeffding 不等式与次高斯尾部界）控制随机梯度的偏离，确保高概率收敛。
• 在数值实验中引入批量处理和内层迭代，以提升收敛速度，同时保持较低的每轮复杂度。
• 与随机投影梯度（sPG）方法进行对比，以证明所提在线投影-free方案的高效性与有效性。

实验结果

研究问题

• RQ1 在强凸性下，仅使用非自适应步长的简单在线弗兰克-沃尔夫算法能否实现与复杂混合投影-free方法相媲美的遗憾边界？
• RQ2 约束集几何结构——特别是最优解是否位于内部或集合是否为多面体——对在线弗兰克-沃尔夫收敛速率有何影响？
• RQ3 在线投影-free方法能否在非凸优化中收敛至驻点，收敛速率如何？
• RQ4 在收敛速度与计算成本方面，所提出的在线弗兰克-沃尔夫及其远离步变体与投影梯度方法相比在实践中表现如何？

主要发现

• 在强凸性且最优解位于约束集内部时，在线弗兰克-沃尔夫算法实现了 𝒪(log³T/T) 的遗憾边界和 𝒪(log²T/T) 的任意时间最优性。
• 当约束集为多面体时，在线远离步弗兰克-沃尔夫算法实现了相同的遗憾边界 𝒪(log³T/T) 和任意时间最优性边界 𝒪(log²T/T)。
• 对于非凸损失，在线弗兰克-沃尔夫及其远离步变体以 𝒪(1/√T) 的速率收敛至驻点，这是投影-free在线非凸优化中首次实现此类收敛速率结果。
• 在真实世界数据上，所提算法在运行时间方面优于标准随机投影梯度方法，尤其在稀疏恢复的在线矩阵补全任务中表现更优。
• 在合成数据与真实数据集（如用于单像素成像的 R64.mat）上的数值实验表明，O-FW 与 O-AW 均实现了约 𝒪(1/t) 的原始目标函数收敛速率，与理论预期一致。
• 理论上的遗憾与最优性边界改进在实验中得到验证，当最优解不在约束集内部时，O-AW 相较于 O-FW 展现出轻微性能优势。