[论文解读] Combinatorial Semi-Bandit in the Non-Stationary Environment

Wei Chen, Liwei Wang+2 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Bandit Algorithms Research参考文献 33被引用 8

一句话总结

本文针对奖励分布随时间变化的非平稳环境中的组合半-bandit问题，提出了 CUCB-SW 和 CUCB-BoB 算法。通过自适应探索与基于分块的检测机制，即使在未知参数 $N$ 或 $V$ 的情况下，也能实现近乎最优的遗憾界——在切换情形下为 $\tilde{O}(m\tilde{N}T/\tilde{Δ}_{\min})$，在动态情形下为 $\tilde{O}(V^{1/3}T^{2/3})$。

ABSTRACT

In this paper, we investigate the non-stationary combinatorial semi-bandit problem, both in the switching case and in the dynamic case. In the general case where (a) the reward function is non-linear, (b) arms may be probabilistically triggered, and (c) only approximate offline oracle exists \cite{wang2017improving}, our algorithm achieves $ ilde{\mathcal{O}}(\sqrt{\mathcal{S} T})$ distribution-dependent regret in the switching case, and $ ilde{\mathcal{O}}(\mathcal{V}^{1/3}T^{2/3})$ in the dynamic case, where $\mathcal S$ is the number of switchings and $\mathcal V$ is the sum of the total ``distribution changes''. The regret bounds in both scenarios are nearly optimal, but our algorithm needs to know the parameter $\mathcal S$ or $\mathcal V$ in advance. We further show that by employing another technique, our algorithm no longer needs to know the parameters $\mathcal S$ or $\mathcal V$ but the regret bounds could become suboptimal. In a special case where the reward function is linear and we have an exact oracle, we design a parameter-free algorithm that achieves nearly optimal regret both in the switching case and in the dynamic case without knowing the parameters in advance.

研究动机与目标

• 解决奖励分布随时间变化的非平稳环境中组合半-bandit 的挑战。
• 通过两个指标建模非平稳性：分布切换次数 $N$ 和均值结果的总变差 $V$。
• 设计在分布相关与分布无关设置下均能实现近乎最优遗憾的算法。
• 通过无参数自适应机制，消除对 $N$ 或 $V$ 的先验知识，同时保持次最优但次线性遗憾。
• 将结果扩展至线性奖励与精确离线预言机的特殊情况，实现无需参数调优的最优遗憾。

提出的方法

• 提出 CUCB-SW 算法，通过基于分块的探索机制，并在通过统计检验检测到分布变化时触发重启。
• 应用浓度不等式与遗憾分解技术，将期望遗憾界表示为 $N$、$V$ 和 $Δ_{\min}$ 的函数。
• 设计 EndOfBlockTest 与 EndOfReplayTest，利用变差与奖励偏差的界来检测分布漂移。
• 采用 FTRL（Follow-the-Regularized-Leader）结合凸包松弛方法，高效求解离线优化问题。
• 提出 CUCB-BoB 作为无参数变体，通过自适应分块长度与探索机制，实现对未知 $N$ 或 $V$ 的自适应。
• 利用精确离线预言机与动作上的稀疏分布，保持在高维组合空间中的计算效率。

实验结果

研究问题

• RQ1 当奖励分布随时间变化时，能否在组合半-bandit 问题中实现近乎最优的遗憾？
• RQ2 在环境非平稳时，bandit 算法的性能如何退化？其根本限制是什么？
• RQ3 能否设计无参数算法，使其在未知非平稳性参数 $N$ 或 $V$ 的情况下仍能自适应？
• RQ4 非线性奖励函数与随机触发动作对非平稳环境中遗憾的影响是什么？
• RQ5 在奖励为线性且存在精确预言机的特殊情况下，能否在无需调参的情况下实现最优遗憾？

主要发现

• CUCB-SW 在切换情形下实现了 $\tilde{O}(m\tilde{N}T/Δ_{\min})$ 的分布相关遗憾，近乎达到最优边界。
• 在动态情形下，CUCB-SW 实现了 $\tilde{O}(V^{1/3}T^{2/3})$ 的分布无关遗憾，接近最优。
• CUCB-BoB 在 $N < cT^\gamma$ 或 $V \leq cT^\gamma$（其中 $\gamma < 1$）时，即使未知 $N$ 或 $V$，也能实现关于 $T$ 的次线性遗憾。
• 对于具有精确预言机的线性奖励情形，Ada-LCMAB 实现了近乎最优的遗憾，且无需事先知道 $N$ 或 $V$。
• 理论分析表明，遗憾界在对数因子范围内是紧致的，证明依赖于浓度不等式与基于分块的检测方法。
• 所提算法对非线性奖励与随机触发动作具有鲁棒性，扩展了以往在平稳与线性设定下的研究成果。