[论文解读] A Near-Optimal Change-Detection Based Algorithm for Piecewise-Stationary Combinatorial Semi-Bandits

Huozhi Zhou, Lingda Wang+2 more|arXiv (Cornell University)|Aug 27, 2019

Advanced Bandit Algorithms Research参考文献 39被引用 4

一句话总结

该论文提出GLR-CUCB，一种针对分段平稳组合半-bandit问题的近优算法，通过将CUCB算法与广义似然比（GLR）变化点检测器相结合，实现对分布突变的自适应检测。该方法实现了$\mathcal{O}(\sqrt{NKT\log T})$的遗憾上界，几乎匹配所推导出的$\Omega(\sqrt{NKT})$最小最大下界，并在合成数据集和真实世界数据集上优于现有最先进基线方法。

ABSTRACT

We investigate the piecewise-stationary combinatorial semi-bandit problem. Compared to the original combinatorial semi-bandit problem, our setting assumes the reward distributions of base arms may change in a piecewise-stationary manner at unknown time steps. We propose an algorithm, exttt{GLR-CUCB}, which incorporates an efficient combinatorial semi-bandit algorithm, exttt{CUCB}, with an almost parameter-free change-point detector, the \emph{Generalized Likelihood Ratio Test} (GLRT). Our analysis shows that the regret of exttt{GLR-CUCB} is upper bounded by $\mathcal{O}(\sqrt{NKT\log{T}})$, where $N$ is the number of piecewise-stationary segments, $K$ is the number of base arms, and $T$ is the number of time steps. As a complement, we also derive a nearly matching regret lower bound on the order of $Ω(\sqrt{NKT}$), for both piecewise-stationary multi-armed bandits and combinatorial semi-bandits, using information-theoretic techniques and judiciously constructed piecewise-stationary bandit instances. Our lower bound is tighter than the best available regret lower bound, which is $Ω(\sqrt{T})$. Numerical experiments on both synthetic and real-world datasets demonstrate the superiority of exttt{GLR-CUCB} compared to other state-of-the-art algorithms.

研究动机与目标

• 解决组合多臂bandit文献中在奖励分布于未知时间点发生突变的非平稳环境下的研究空白。
• 开发一种高效且自适应的算法，无需事先知晓变化点或分布参数，即可检测组合半-bandit中的分布变化。
• 为分段平稳组合半-bandit问题建立紧致的遗憾下界，揭示该问题的根本难度。
• 通过实验验证所提算法在合成与真实世界场景下相较于现有最先进方法的优越性。

提出的方法

• 该算法将CUCB（组合上置信界）框架与广义似然比（GLR）检验相结合，作为变化点检测器，用于监控基础臂的奖励分布。
• GLR检测器可在不依赖变化幅度或分布参数先验知识的情况下，识别基础臂均值奖励的变化。
• 检测到变化后，算法对CUCB过程执行全局重启，以在新分布下重新估计最优超臂。
• 该方法设计为几乎无参数，仅依赖少量超参数，如显著性水平$\delta$和置信阈值$p$。
• 理论分析表明，GLR-CUCB的遗憾被界为$\mathcal{O}(\sqrt{NKT\log T})$，其中$N$为段数，$K$为基础臂数量，$T$为时间范围。
• 为分段平稳MAB与CMAB推导出信息论下界$\Omega(\sqrt{NKT})$，证明所提算法的近优性。

实验结果

研究问题

• RQ1 能否在组合半-bandit算法中有效集成一种高效且无参数的变化检测机制，以应对非平稳奖励分布？
• RQ2 分段平稳组合半-bandit问题的根本极限（最小最大遗憾）是什么？算法能多接近这一极限？
• RQ3 所提出的GLR-CUCB算法在实际中是否实现了近优遗憾，尤其是在变化点检测与实际分布突变不完全对齐的情况下？
• RQ4 在变化点未知且不规则的非平稳环境中，GLR-CUCB相较于Oracle与最先进算法的性能如何？

主要发现

• GLR-CUCB实现了$\mathcal{O}(\sqrt{NKT\log T})$的遗憾上界，接近阶数最优，因为最小最大下界为$\Omega(\sqrt{NKT})$。
• 所推导的最小最大遗憾下界比先前已知的$\Omega(\sqrt{T})$更紧，凸显了$N$与$K$在问题复杂度中的作用。
• 在$T=5000$，$K=6$，$m=2$，$N=5$的合成数据上，即使违反假设4.1（关于段长），GLR-CUCB的表现几乎与Oracle-CUCB相当，且显著优于其他算法。
• 在Yahoo!数据集上，$T=22500$，$K=6$，$m=2$，$N=9$，GLR-CUCB优于所有基线方法，且与Oracle-CUCB的差距极小，证明其在真实世界非平稳环境中的鲁棒性。
• 令人惊讶的是，LR-GLR-CUCB变体在某些情况下甚至优于Oracle-CUCB，表明当变化较小时且不影响最优超臂时，全局重启可能并非最优策略。
• 实验结果证实，即使在理论假设的轻微违反下，GLR的变化点检测依然有效，表明其具有强大的实际鲁棒性。