[论文解读] Contextual Blocking Bandits

Soumya Basu, Orestis Papadigenopoulos+2 more|arXiv (Cornell University)|Mar 6, 2020

Advanced Bandit Algorithms Research参考文献 44被引用 7

一句话总结

本文提出了上下文阻塞老虎机（Contextual Blocking Bandits）这一新型多臂老虎机框架，其中在动作被使用后，该动作会被固定时长阻塞，且奖励依赖于随机上下文。该研究提出了一种基于UCB的算法，结合延迟利用与机会性子采样机制，实现了相对于α-最优策略的$Ø(\log T)$后悔，与信息论下界完全匹配。

ABSTRACT

We study a novel variant of the multi-armed bandit problem, where at each time step, the player observes an independently sampled context that determines the arms' mean rewards. However, playing an arm blocks it (across all contexts) for a fixed and known number of future time steps. The above contextual setting, which captures important scenarios such as recommendation systems or ad placement with diverse users, invalidates greedy solution techniques that are effective for its non-contextual counterpart (Basu et al., NeurIPS19). Assuming knowledge of the context distribution and the mean reward of each arm-context pair, we cast the problem as an online bipartite matching problem, where the right-vertices (contexts) arrive stochastically and the left-vertices (arms) are blocked for a finite number of rounds each time they are matched. This problem has been recently studied in the full-information case, where competitive ratio bounds have been derived. We focus on the bandit setting, where the reward distributions are initially unknown; we propose a UCB-based variant of the full-information algorithm that guarantees a $\mathcal{O}(\log T)$-regret w.r.t. an $α$-optimal strategy in $T$ time steps, matching the $Ω(\log(T))$ regret lower bound in this setting. Due to the time correlations caused by blocking, existing techniques for upper bounding regret fail. For proving our regret bounds, we introduce the novel concepts of delayed exploitation and opportunistic subsampling and combine them with ideas from combinatorial bandits and non-stationary Markov chains coupling.

研究动机与目标

• 建模现实世界中的资源分配问题，其中奖励依赖于上下文，且动作在使用后会被临时阻塞，例如推荐系统或网约车平台中的场景。
• 解决在具有阻塞机制的老虎机设置中学习未知奖励分布的挑战，由于时间依赖性，标准UCB和基于线性规划（LP）的方法会失效。
• 设计一种在阻塞导致时间相关决策的条件下仍能实现最优后悔性能的老虎机算法。
• 在已知上下文分布和每对臂-上下文的均值奖励条件下，建立与$\Omega(\log T)$下界匹配的理论后悔上界。

提出的方法

• 提出一种时间无关的老虎机算法，利用延迟时间窗口$t - M_t$内的UCB估计值，其中$M_t = \Theta(\log t)$，以将UCB值与当前动作可用性解耦。
• 引入延迟利用的概念，确保延迟窗口内的马尔可夫链已混合，从而实现UCB估计与阻塞动态之间的去相关。
• 采用机会性子采样方案，在阻塞条件下维持对次优动作的充分采样，从而支持LP解的收敛。
• 结合组合老虎机与非时齐马尔可夫链耦合的技术，即使在时间相关决策下仍能控制后悔。
• 使用基于时间依赖的跳过概率的随机LP舍入策略，并通过基于UCB的置信区间在线自适应调整。
• 推导出后悔上界为$\mathcal{O}\left(\frac{km(k+m)\log T}{\Delta}\right)$，其中$k$为动作数，$m$为上下文数，$\Delta$为次优LP解与最优解之间的差距。

实验结果

研究问题

• RQ1 在动作可用性具有时间相关性的上下文阻塞老虎机设置中，能否设计出实现$\mathcal{O}(\log T)$后悔的老虎机算法？
• RQ2 在非时齐环境中，如何利用延迟利用来实现UCB估计与阻塞动态之间的去相关？
• RQ3 何种采样策略可确保在阻塞约束下对次优动作的充分探索，从而支持基于LP的决策收敛？
• RQ4 尽管标准老虎机技术因阻塞引起的关联性而失效，是否仍可实现与$\Omega(\log T)$下界匹配的后悔？
• RQ5 在完全信息情况下，相对于全知策略的在线策略最优竞争比是多少？其与最大阻塞延迟的关系如何？

主要发现

• 所提出的算法实现了$\mathcal{O}\left(\frac{km(k+m)\log T}{\Delta}\right)$的后悔，与$\Omega(\log T)$下界完全匹配，证明了该设置下算法的最优性。
• 延迟利用——即使用来自$t - \Theta(\log t)$时间点的UCB值——确保系统马尔可夫链已混合，从而实现UCB估计与动作可用性之间的去相关。
• 机会性子采样方案确保在阻塞条件下对次优动作的充分采样，支持LP解随时间的收敛。
• 在完全信息情况下，竞争比的下界为$\frac{d_{\text{max}}}{2d_{\text{max}} - 1}$，该结果通过全知块策略与极限分析推导得出。
• 在已知上下文分布和每对臂-上下文的均值奖励条件下，该后悔上界成立，且算法通过UCB在线学习未知奖励分布。