[论文解读] Minimizing Dynamic Regret and Adaptive Regret Simultaneously

Lijun Zhang, Shiyin Lu+1 more|arXiv (Cornell University)|Feb 6, 2020

Advanced Bandit Algorithms Research参考文献 31被引用 12

一句话总结

本文提出了两种新颖的在线学习算法——AOD 和 AOA——在在线凸优化中同时最小化动态后悔和自适应后悔。通过利用具有分层结构的专家追踪框架与自适应区间管理，两种方法均实现了当前最优的边界：分别为 $O(\sqrt{\tau \log T})$ 的自适应后悔和 $O(\sqrt{T(1+P_T)\log T})$ 与 $O(\sqrt{T(\log T + P_T)})$ 的动态后悔，其中 AOA 进一步保证了在任意区间的最优动态后悔。

ABSTRACT

Regret minimization is treated as the golden rule in the traditional study of online learning. However, regret minimization algorithms tend to converge to the static optimum, thus being suboptimal for changing environments. To address this limitation, new performance measures, including dynamic regret and adaptive regret have been proposed to guide the design of online algorithms. The former one aims to minimize the global regret with respect to a sequence of changing comparators, and the latter one attempts to minimize every local regret with respect to a fixed comparator. Existing algorithms for dynamic regret and adaptive regret are developed independently, and only target one performance measure. In this paper, we bridge this gap by proposing novel online algorithms that are able to minimize the dynamic regret and adaptive regret simultaneously. In fact, our theoretical guarantee is even stronger in the sense that one algorithm is able to minimize the dynamic regret over any interval.

研究动机与目标

• 为解决现有在线学习算法仅优化单一性能指标（即动态后悔或自适应后悔）而无法适应变化环境的局限性。
• 通过设计统一的算法框架，弥合动态后悔与自适应后悔之间的差距，实现两者的同时最小化。
• 通过确保算法可在任意时间区间内最小化动态后悔（而不仅限于整个时间范围），实现更强的理论保证。
• 通过引入路径长度正则性和对数因子，改进先前工作，在两个指标上均实现近似最优性。

提出的方法

• 采用分层专家追踪框架，其中多个具有不同生命周期的专家算法并行运行，其决策通过元算法进行组合。
• 在 AOD 中，以在线梯度下降（OGD）作为基础专家算法，并设计特殊区间以管理专家生命周期并实现在连续运行之间的热启动。
• 在 AOA 中，使用 Ader 算法作为基础专家，通过动态激活与去激活机制，确保在各区间内保持性能。
• 应用詹森不等式与后悔分解技术，以界定元后悔，并将区间特定的边界扩展至任意区间。
• 将任意区间 $[r,s]$ 上的动态后悔分解为子区间 $I_i$，并利用几何级数边界控制跨尺度的累积误差。
• 利用路径长度 $P_T = \sum_{t=1}^{T-1} \|\mathbf{u}_{t+1} - \mathbf{u}_t\|_2$ 作为比较序列可变性的度量，以推导紧致的动态后悔边界。

实验结果

研究问题

• RQ1 在线学习算法是否能在非平稳环境中同时实现次线性自适应后悔与次线性动态后悔？
• RQ2 是否可以设计一种单一算法，使其在任意时间区间（而不仅限于整个时间范围）上最小化动态后悔？
• RQ3 通过同时引入路径长度与对数因子，能否改进动态后悔的理论边界？
• RQ4 不同的专家管理策略——固定区间与动态激活——如何影响自适应后悔与动态后悔之间的权衡？

主要发现

• AOD 算法实现了 $O(\sqrt{\tau \log T})$ 的自适应后悔与 $O(\sqrt{T(1+P_T)\log T})$ 的动态后悔，分别达到了各自指标的当前最优边界。
• AOA 算法实现了 $O(\sqrt{\tau \log T})$ 的自适应后悔与 $O(\sqrt{T(\log T + P_T)})$ 的动态后悔，对 $P_T$ 与 $\log T$ 的依赖更紧密。
• AOA 提供了更强的保证：确保在任意区间 $[r,s]$ 上实现次线性动态后悔，而不仅限于整个时间范围。
• 理论分析表明，两种算法均实现了近乎最优的动态后悔边界，其中 $\log T$ 因子在标准假设下不可避免。
• 对 dyadic 区间上后悔的分解以及几何级数边界的应用，使得跨尺度累积误差得以紧密控制。
• 在标准假设下推导出这些边界：梯度有界（$G$）、定义域直径有界（$D$），且损失函数为凸函数。