[论文解读] A Simple Approach for Non-stationary Linear Bandits

Peng Zhao, Lijun Zhang+2 more|arXiv (Cornell University)|Mar 9, 2021

Advanced Bandit Algorithms Research参考文献 19被引用 30

一句话总结

本文指出了以往对非平稳线性带来的分析中的一个缺陷，进行了修正，并提出一个简单的 RestartUCB 算法（可选的 Bandits-over-Bandits 元学习）在动态 regret 保证方面达到 兜提{tetilde}{O}(d^{1/2} H^{3/2} P_T + dT/兜{\u0010bd}H) 和 兜提{tetilde}{O}(d^{7/8} T^{3/4} P_T^{1/4})，分别在知道与不知道 P_T 的情形下。

ABSTRACT

This paper investigates the problem of non-stationary linear bandits, where the unknown regression parameter is evolving over time. Existing studies develop various algorithms and show that they enjoy an $\widetilde{\mathcal{O}}(T^{2/3}P_T^{1/3})$ dynamic regret, where $T$ is the time horizon and $P_T$ is the path-length that measures the fluctuation of the evolving unknown parameter. In this paper, we discover that a serious technical flaw makes their results ungrounded, and then present a fix, which gives an $\widetilde{\mathcal{O}}(T^{3/4}P_T^{1/4})$ dynamic regret without modifying original algorithms. Furthermore, we demonstrate that instead of using sophisticated mechanisms, such as sliding window or weighted penalty, a simple restarted strategy is sufficient to attain the same regret guarantee. Specifically, we design an UCB-type algorithm to balance exploitation and exploration, and restart it periodically to handle the drift of unknown parameters. Our approach enjoys an $\widetilde{\mathcal{O}}(T^{3/4}P_T^{1/4})$ dynamic regret. Note that to achieve this bound, the algorithm requires an oracle knowledge of the path-length $P_T$. Combining the bandits-over-bandits mechanism by treating our algorithm as the base learner, we can further achieve the same regret bound in a parameter-free way. Empirical studies also validate the effectiveness of our approach.

研究动机与目标

• 激发对未知参数随时间演化的非平稳线性带来研究的动机。
• 纠正先前分析中的技术缺陷并建立有效的动态 regret 保证。
• 提出一个简单的 RestartUCB 算法，支持带元学习和不带元学习两种情况，能够有效处理漂移。

提出的方法

• 引入在每个时期内使用分期的正则化最小二乘法的 RestartUCB。
• 推导基于自规范化集中不等式和路径长度项的上置信界。
• 每经过 H 次迭代重启算法以适应参数漂移，并分析按时期划分的 regret。
• 证明带有 Bandits-over-Bandits（BOB）机制的 RestartUCB 可以在不知道 P_T 的情况下选择重启周期。

实验结果

研究问题

• RQ1 使用简单的重启 UCB 方法对非平稳线性带来可以达到的动态 regret 边界是多少？
• RQ2 一个参数无关、可自适应的重启方案能否达到与 oracle 调整方法相同的 regrets？
• RQ3 Bandits-over-Bandits 框架是否在保留 regret 保证的同时消除了对 P_T 先验知识的需求？
• RQ4 在内存和复杂度方面，提出的方法与滑动窗口和加权方法相比如何？
• RQ5 已识别的先前分析中的技术缺陷有哪些含义，以及如何修正？

主要发现

• 根据定理 2，RestartUCB 在动态 regret 上达到 兜提{tetilde}{O}(d^{1/2} H^{3/2} P_T + dT/兜{\u0010bd}H)。
• 在已知 P_T 的前提下，选择最优的重启周期，RestartUCB 达到 兜提{tetilde}{O}(d^{7/8} T^{3/4} P_T^{1/4}) 的动态 regret。
• RestartUCB-BOB 消除了对 P_T 先验知识的需要，并保留 兜提{tetilde}{O}(d^{7/8} T^{3/4} P_T^{1/4}) 边界，如定理 3。
• 本文识别并修正了先前分析中的技术漏洞，通过引理 1 及相关结果确保有效的界。
• 与 WindowUCB 相比，RestartUCB 方法使用常量内存并进行在线更新，无需存储数据。