[论文解读] Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization

Peng Zhao, Yujie Zhang+2 more|arXiv (Cornell University)|Dec 29, 2021

Advanced Bandit Algorithms Research被引用 12

一句话总结

本文提出 Sword 和 Sword++，两种新颖的在线凸优化算法，通过利用平滑性和梯度变化，实现问题相关的动态遗憾界。通过采用结合乐观镜面下降与校正项的协作式在线集成框架，仅需每轮一次梯度，即可实现 $Ó(\sqrt{(1+P_T+\min\{V_T,F_T\})(1+P_T)})$ 的遗憾，优于最坏情况下的最小最大 $\mathcal{O}(\sqrt{T(1+P_T)})$ 边界，在简单问题实例中表现更优，同时保持最坏情况下的鲁棒性。

ABSTRACT

We investigate online convex optimization in non-stationary environments and choose dynamic regret as the performance measure, defined as the difference between cumulative loss incurred by the online algorithm and that of any feasible comparator sequence. Let $T$ be the time horizon and $P_T$ be the path length that essentially reflects the non-stationarity of environments, the state-of-the-art dynamic regret is $\mathcal{O}(\sqrt{T(1+P_T)})$. Although this bound is proved to be minimax optimal for convex functions, in this paper, we demonstrate that it is possible to further enhance the guarantee for some easy problem instances, particularly when online functions are smooth. Specifically, we introduce novel online algorithms that can exploit smoothness and replace the dependence on $T$ in dynamic regret with problem-dependent quantities: the variation in gradients of loss functions, the cumulative loss of the comparator sequence, and the minimum of these two terms. These quantities are at most $\mathcal{O}(T)$ while could be much smaller in benign environments. Therefore, our results are adaptive to the intrinsic difficulty of the problem, since the bounds are tighter than existing results for easy problems and meanwhile safeguard the same rate in the worst case. Notably, our proposed algorithms can achieve favorable dynamic regret with only one gradient per iteration, sharing the same gradient query complexity as the static regret minimization methods. To accomplish this, we introduce the collaborative online ensemble framework. The proposed framework employs a two-layer online ensemble to handle non-stationarity, and uses optimistic online learning and further introduces crucial correction terms to enable effective collaboration within the meta-base two layers, thereby attaining adaptivity. We believe the framework can be useful for broader problems.

研究动机与目标

• 为解决静态和最坏情况动态遗憾在非平稳环境中的局限性，提出更具适应性的性能度量。
• 通过利用梯度变化和累积比较器损失等与问题相关的量，开发在线算法，实现对简单问题实例（特别是平滑函数）的更紧致动态遗憾界。
• 在保持与静态遗憾最小化方法相同的每轮一次梯度效率的同时，实现更优的动态遗憾保证。
• 设计一种协作式在线集成框架，通过构建代理损失函数和决策偏差校正项，实现元学习器与基学习器之间的有效协作。

提出的方法

• 引入两层在线集成框架：元学习器协调多个基学习器，以适应非平稳性。
• 在元层和基层均使用乐观镜面下降作为统一构建模块，以支持带负项的遗憾分析中的自适应更新。
• 设计一种代理损失函数，结合线性化与一种新颖的决策偏差校正项，以增强元层与基层之间的协作。
• 将与问题相关的量——路径长度 $P_T$、梯度变化 $V_T$ 和累积比较器损失 $F_T$——纳入遗憾界，以反映问题的内在难度。
• 通过避免多次梯度查询，实现每轮一次梯度的复杂度，优于如 Sword 等先前方法。
• 在遗憾分解中利用负项，以利用平滑性并改进边界，而无需增加计算成本。

实验结果

研究问题

• RQ1 对于平滑的在线凸优化问题，能否将动态遗憾界改进至超越最小最大 $\mathcal{O}(\sqrt{T(1+P_T)})$ 的速率？
• RQ2 是否可能仅通过每轮一次梯度查询，实现与问题相关的动态遗憾界，同时保持与静态遗憾方法相当的效率？
• RQ3 如何构建元学习器与基学习器之间的协作结构，以在不增加计算开销的前提下利用平滑性和梯度变化？
• RQ4 能否构建一个通用的动态遗憾界，使其能自适应地反映问题实例的内在难度，涵盖良性与最坏情况？

主要发现

• 所提出的 Sword++ 算法实现了 $\mathcal{O}(\sqrt{(1+P_T+\min\{V_T,F_T\})(1+P_T)})$ 的问题相关动态遗憾界，相较于最小最大 $\mathcal{O}(\sqrt{T(1+P_T)})$ 边界，在 $V_T$ 和 $F_T$ 较小的简单实例中表现更优。
• 该算法保持与 OGD 和 Ader 相同的每轮一次梯度复杂度，因此在提升遗憾保证的同时仍具计算高效性。
• 实验结果表明，Sword++ 在合成数据和真实世界数据上的累积损失上均优于 OGD、Ader 和 Sword，且运行时间具有竞争力。
• 协作式在线集成框架有效利用了梯度变化和比较器损失，使遗憾分析中的边界更紧致，同时不牺牲计算效率。
• 理论分析证实，该边界具有普适性，对任意可行的比较器序列均成立，因此无需预先知晓环境的非平稳性，即可自适应地适应非平稳环境。