[论文解读] Improved Dynamic Regret for Online Frank-Wolfe

Yuanyu Wan, Lijun Zhang+1 more|arXiv (Cornell University)|Feb 11, 2023

Advanced Bandit Algorithms Research被引用 4

一句话总结

该论文通过引入基于线搜索的步长规则，改进了在线弗兰克-沃尔夫（OFW）算法的动态遗憾界，在光滑、强凸及内部极小值点设定下实现了更紧致的界。在强凸集上的光滑且强凸函数下，其遗憾界为 $O(\big(1+V_T\big)^{2/3}T^{1/3})$；对于内部极小值点，遗憾界为 $O(\big(1+V_T\big))$，并通过每轮保持恒定的FW迭代次数，进一步优化为 $O(\big(\text{min}\big\bracevert P_T^*, S_T^*, V_T\big\bracevert + 1\big)$。

ABSTRACT

To deal with non-stationary online problems with complex constraints, we investigate the dynamic regret of online Frank-Wolfe (OFW), which is an efficient projection-free algorithm for online convex optimization. It is well-known that in the setting of offline optimization, the smoothness of functions and the strong convexity of functions accompanying specific properties of constraint sets can be utilized to achieve fast convergence rates for the Frank-Wolfe (FW) algorithm. However, for OFW, previous studies only establish a dynamic regret bound of $O(\sqrt{T}(V_T+\sqrt{D_T}+1))$ by utilizing the convexity of problems, where $T$ is the number of rounds, $V_T$ is the function variation, and $D_T$ is the gradient variation. In this paper, we derive improved dynamic regret bounds for OFW by extending the fast convergence rates of FW from offline optimization to online optimization. The key technique for this extension is to set the step size of OFW with a line search rule. In this way, we first show that the dynamic regret bound of OFW can be improved to $O(\sqrt{T(V_T+1)})$ for smooth functions. Second, we achieve a better dynamic regret bound of $O(T^{1/3}(V_T+1)^{2/3})$ when functions are smooth and strongly convex, and the constraint set is strongly convex. Finally, for smooth and strongly convex functions with minimizers in the interior of the constraint set, we demonstrate that the dynamic regret of OFW reduces to $O(V_T+1)$, and can be further strengthened to $O(\min\{P_T^\ast,S_T^\ast,V_T\}+1)$ by performing a constant number of FW iterations per round, where $P_T^\ast$ and $S_T^\ast$ denote the path length and squared path length of minimizers, respectively.

研究动机与目标

• 通过改进动态遗憾界，解决现有OFW算法在非平稳环境下的局限性。
• 利用光滑性和强凸性，将离线弗兰克-沃尔夫算法的快速收敛速率推广至在线设置。
• 通过利用约束集的几何结构和极小值点位置，实现更紧致的动态遗憾界。
• 提出一种基于线搜索的步长规则，以提升在线优化中收敛性和遗憾性能。

提出的方法

• 引入一种基于线搜索的规则，自适应地设定OFW中的步长，以提升收敛性和遗憾性能。
• 利用弗兰克-沃尔夫间隙和下降引理，在光滑性和强凸性条件下界每轮迭代的进展。
• 通过将动态遗憾分解为函数变化 $V_T$、梯度变化 $D_T$ 和最优性间隙，推导遗憾界。
• 应用线搜索规则，在极小值点位于约束集内部时，实现 $O(\big(\text{min}\big\bracevert P_T^*, S_T^*, V_T\big\bracevert + 1\big)$ 的遗憾界。
• 利用约束集和函数的强凸性，加速收敛并收紧 $O((1+V_T)^{2/3}T^{1/3})$ 的界。
• 通过最优性间隙和函数变化的递归遗憾分解，实现更紧致的分析，支持通过参数调优优化。

实验结果

研究问题

• RQ1 能否将离线弗兰克-沃尔夫算法的快速收敛速率推广至在线设置，以改善动态遗憾？
• RQ2 在非平稳环境中，步长选择如何影响OFW的动态遗憾？
• RQ3 当函数为光滑且强凸，且极小值点位于约束集内部时，可实现怎样的动态遗憾界？
• RQ4 通过每轮保持恒定的弗兰克-沃尔夫迭代次数，能否进一步改进动态遗憾？
• RQ5 函数变化 $V_T$、路径长度 $P_T^*$ 和平方路径长度 $S_T^*$ 如何影响OFW中的动态遗憾？

主要发现

• OFW的动态遗憾被改进为 $O(\big(\text{光滑函数： } \big(\text{光滑且强凸函数在强凸集上： } O((1+V_T)^{2/3}T^{1/3})$。
• 对于光滑且强凸函数，且极小值点位于约束集内部的情形，动态遗憾降低至 $O(1+V_T)$。
• 通过每轮执行恒定数量的弗兰克-沃尔夫迭代，动态遗憾可进一步收紧至 $O(\text{min}\big\bracevert P_T^*, S_T^*, V_T\big\bracevert + 1)$。
• 基于线搜索的步长规则通过自适应平衡各轮的进展与稳定性，实现了更紧致的遗憾界。
• 分析表明，光滑性和强凸性显著提升了遗憾性能，即使在非平稳设置下亦然。
• 改进后的界弥合了离线与在线弗兰克-沃尔夫算法收敛速率之间的差距，证明了离线优化的优势可成功迁移至在线设置。