[论文解读] Revisiting Projection-free Online Learning: the Strongly Convex Case

Dan Garber, Ben Kretzu|arXiv (Cornell University)|Oct 15, 2020

Advanced Bandit Algorithms Research参考文献 20被引用 8

一句话总结

本文重新审视了使用在线Frank-Wolfe（OFW）方法的无投影在线学习，并证明在强凸性条件下，无论是在完整信息设置还是在Bandit设置下，均可实现更快的 O(T^{2/3}) regret 界——这令人惊讶地优于非强凸函数的标准 O(T^{3/4}) 速率。该改进源于在OFW框架中利用了强凸性，尽管在离线优化中Frank-Wolfe通常无法从强凸性中获益，通过分块更新和具有有界近似误差的线性优化预言机实现。

ABSTRACT

Projection-free optimization algorithms, which are mostly based on the classical Frank-Wolfe method, have gained significant interest in the machine learning community in recent years due to their ability to handle convex constraints that are popular in many applications, but for which computing projections is often computationally impractical in high-dimensional settings, and hence prohibit the use of most standard projection-based methods. In particular, a significant research effort was put on projection-free methods for online learning. In this paper we revisit the Online Frank-Wolfe (OFW) method suggested by Hazan and Kale \cite{Hazan12} and fill a gap that has been left unnoticed for several years: OFW achieves a faster rate of $O(T^{2/3})$ on strongly convex functions (as opposed to the standard $O(T^{3/4})$ for convex but not strongly convex functions), where $T$ is the sequence length. This is somewhat surprising since it is known that for offline optimization, in general, strong convexity does not lead to faster rates for Frank-Wolfe. We also revisit the bandit setting under strong convexity and prove a similar bound of $ ilde O(T^{2/3})$ (instead of $O(T^{3/4})$ without strong convexity). Hence, in the current state-of-affairs, the best projection-free upper-bounds for the full-information and bandit settings with strongly convex and nonsmooth functions match up to logarithmic factors in $T$.

研究动机与目标

• 解决无投影在线学习中长期被忽视的空白：强凸性对 regret 率的影响。
• 在先前工作仅假设凸性的情况下，重新评估 OFW 方法及其 Bandit 变体在强凸性下的表现。
• 建立更紧致的 regret 界，其与投影无方法的最佳已知上界在对数因子内一致。
• 为强凸性在在线设置中能提升性能提供理论依据，尽管其在离线 Frank-Wolfe 中并未改善收敛速度。

提出的方法

• 重新分析标准在线 Frank-Wolfe（OFW）算法及其带分块处理的 Bandit 变体。
• 引入分块更新机制，其中每个块处理多个轮次，从而提高迭代计算的精度。
• 为每个块使用线性优化预言机以计算下降方向，避免昂贵的投影操作。
• 通过每个块内迭代与最优解之间的近似误差项 ǫm 来界定 regret。
• 结合光滑性和强凸性，应用 Frank-Wolfe 收敛保证，以界定每个块内的预言机调用次数。
• 在 Bandit 设置中采用梯度估计技术，并控制块间误差的传播。

实验结果

研究问题

• RQ1 尽管在离线 Frank-Wolfe 中未改善收敛速度，强凸性是否仍能在无投影在线学习中带来更快的 regret 率？
• RQ2 在强凸性条件下，OFW 在完整信息设置下的最紧致可实现 regret 界是什么？
• RQ3 OFW 的 Bandit 变体是否能在强凸性条件下实现与完整信息情况相匹配的 regret 界？
• RQ4 分块处理如何提升无投影在线算法的精度与 regret 表现？

主要发现

• 在强凸性条件下，OFW 算法在完整信息设置下实现了 O(T^{2/3}) 的 regret 界，优于标准的 O(T^{3/4}) 速率。
• 在 Bandit 设置下，算法实现了 Õ((nT)^{2/3}) 的期望 regret 界，对数因子内与投影无方法的最佳已知上界一致。
• 该改进源于在强凸性下 Frank-Wolfe 子程序的更强收敛性，尽管离线 Frank-Wolfe 并未从中受益。
• 分析表明，在强凸性条件下，线性优化预言机调用次数的量级为 O(T^{2/3})，其在对数因子内为最优。
• 结果对近似误差具有鲁棒性，并在有界梯度范数和强凸性参数下依然成立。
• 理论发现由一种新颖的分析框架支持，该框架通过分块近似误差和预言机调用次数来界定 regret。