[论文解读] Beyond Online Balanced Descent: An Optimal Algorithm for Smoothed Online Optimization

Gautam Goel, Yiheng Lin+2 more|arXiv (Cornell University)|May 29, 2019

Optimization and Search Problems参考文献 33被引用 24

一句话总结

本文提出了两种新算法——贪心OBD（G-OBD）和正则化OBD（R-OBD），用于平滑在线凸优化（SOCO）问题，其损失成本为强凸函数，移动成本为平方 $\varepsilon_2$-范数。论文证明了一个新的 $\Omega(m^{-1/2})$ 竞争比下界，并表明G-OBD与R-OBD均可实现最优的 $O(m^{-1/2})$ 竞争比，从而填补了先前算法与理论极限之间的差距。

ABSTRACT

We study online convex optimization in a setting where the learner seeks to minimize the sum of a per-round hitting cost and a movement cost which is incurred when changing decisions between rounds. We prove a new lower bound on the competitive ratio of any online algorithm in the setting where the costs are $m$-strongly convex and the movement costs are the squared $\ell_2$ norm. This lower bound shows that no algorithm can achieve a competitive ratio that is $o(m^{-1/2})$ as $m$ tends to zero. No existing algorithms have competitive ratios matching this bound, and we show that the state-of-the-art algorithm, Online Balanced Decent (OBD), has a competitive ratio that is $Ω(m^{-2/3})$. We additionally propose two new algorithms, Greedy OBD (G-OBD) and Regularized OBD (R-OBD) and prove that both algorithms have an $O(m^{-1/2})$ competitive ratio. The result for G-OBD holds when the hitting costs are quasiconvex and the movement costs are the squared $\ell_2$ norm, while the result for R-OBD holds when the hitting costs are $m$-strongly convex and the movement costs are Bregman Divergences. Further, we show that R-OBD simultaneously achieves constant, dimension-free competitive ratio and sublinear regret when hitting costs are strongly convex.

研究动机与目标

• 为平滑在线凸优化（SOCO）中强凸损失成本的情形，弥合现有算法性能与理论下界之间的差距。
• 在 $m$-强凸损失成本与平方 $\ell_2$ 移动成本的设定下，建立任意在线算法竞争比的非平凡下界。
• 设计能够匹配新下界的新型算法，实现最优的竞争性能。
• 证明R-OBD在强凸条件下可同时实现常数、与维度无关的竞争比和次线性遗憾。

提出的方法

• 通过精心构造的对抗性成本函数序列，推导出竞争比的新下界，证明当 $m \to 0$ 时，任何算法的性能均无法优于 $\Omega(m^{-1/2})$。
• 分析在线平衡下降（OBD）的性能，证明其竞争比为 $\Omega(m^{-2/3})$，严格劣于新下界。
• 提出贪心OBD（G-OBD），通过最小化损失成本与贪心移动惩罚的组合来选择动作，并在损失成本为拟凸时证明其竞争比为 $O(m^{-1/2})$。
• 引入正则化OBD（R-OBD），基于Bregman散度引入正则化项，并证明在 $m$-强凸损失成本下，其竞争比为 $O(m^{-1/2})$。
• 利用Bregman散度的性质以及凸分析工具，包括柯西-施瓦茨不等式与AM-GM不等式，对在线与离线成本之间的差异进行有界控制。
• 采用基于Bregman散度的势函数论证方法，追踪累积成本差异，并推导出竞争比的上界。

实验结果

研究问题

• RQ1 在 $m$-强凸损失成本与平方 $\ell_2$ 移动成本的SOCO设定下，任意在线算法的竞争比的根本极限是什么？
• RQ2 能否弥合最先进的OBD算法与理论下界之间的性能差距？
• RQ3 是否存在OBD的新变体，能够实现最优的 $O(m^{-1/2})$ 竞争比？
• RQ4 能否设计一种算法，在强凸设定下同时实现常数竞争比与次线性遗憾？

主要发现

• 证明了在 $m$-强凸、平方 $\ell_2$ 移动成本设定下，任意在线算法的竞争比下界为 $\Omega(m^{-1/2})$。
• 表明最先进的OBD算法的竞争比为 $\Omega(m^{-2/3})$，相比新下界在数量级上存在显著差距。
• 贪心OBD（G-OBD）在损失成本为拟凸、移动成本为平方 $\ell_2$ 时，可实现 $O(m^{-1/2})$ 竞争比。
• 正则化OBD（R-OBD）在 $m$-强凸损失成本与Bregman散度移动成本下，可实现 $O(m^{-1/2})$ 竞争比。
• 当损失成本为强凸时，R-OBD可同时实现常数、与维度无关的竞争比与次线性遗憾。
• 分析结果确认，R-OBD的竞争比为最优，与已建立的下界完全匹配。