[论文解读] Batch-Size Independent Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms or Independent Arms

Xutong Liu, Jinhang Zuo+4 more|arXiv (Cornell University)|Aug 31, 2022

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文通过引入一种新型的方差感知算法（BCUCB-T）和一种针对概率触发臂的新平滑性条件（TPVM），提出了组合半-bandit问题中与批量大小无关的遗憾界，将遗憾依赖从 O(K) 降低至 O(log K) 或 O(log²K)。对于独立臂的情况，提出了 SESCB 算法，采用次高斯置信区间，实现了完全与批量大小无关的遗憾，显著改进了先前的遗憾界，并在实验性能上提升了约 20%。

ABSTRACT

In this paper, we study the combinatorial semi-bandits (CMAB) and focus on reducing the dependency of the batch-size $K$ in the regret bound, where $K$ is the total number of arms that can be pulled or triggered in each round. First, for the setting of CMAB with probabilistically triggered arms (CMAB-T), we discover a novel (directional) triggering probability and variance modulated (TPVM) condition that can replace the previously-used smoothness condition for various applications, such as cascading bandits, online network exploration and online influence maximization. Under this new condition, we propose a BCUCB-T algorithm with variance-aware confidence intervals and conduct regret analysis which reduces the $O(K)$ factor to $O(\log K)$ or $O(\log^2 K)$ in the regret bound, significantly improving the regret bounds for the above applications. Second, for the setting of non-triggering CMAB with independent arms, we propose a SESCB algorithm which leverages on the non-triggering version of the TPVM condition and completely removes the dependency on $K$ in the leading regret. As a valuable by-product, the regret analysis used in this paper can improve several existing results by a factor of $O(\log K)$. Finally, experimental evaluations show our superior performance compared with benchmark algorithms in different applications.

研究动机与目标

• 减少或消除组合半-bandit 问题中遗憾界对批量大小 K 的依赖。
• 提出一种新的平滑性条件（TPVM），以更好地捕捉在平均臂值接近 0 或 1 的边界区域中的奖励动态。
• 设计基于方差感知的置信区间，使其能自适应于经验方差，从而在高敏感区域减少遗憾贡献。
• 通过次高斯浓度不等式，在非触发型 CMAB 且臂为独立的情况下，实现完全与批量大小无关的遗憾。
• 通过精细化分析，将现有遗憾界的量级改进 O(log K) 倍。

提出的方法

• 提出触发概率与方差调制（TPVM）条件，作为先前 TPM 条件的更强替代，以捕捉边界附近局部奖励敏感性。
• 提出 BCUCB-T 算法，一种基于 UCB 的算法，采用基于经验方差缩放的方差感知置信区间，以减少高敏感区域的遗憾。
• 利用 TPVM 条件对边界区域的遗憾贡献进行有界，从而将 K 的依赖从 O(K) 降低至 O(log K) 或 O(log²K)。
• 对于独立臂，引入 VM 条件（TPVM 的非触发变体），并设计 SESCB 算法，采用更紧致的次高斯置信区间。
• 利用次高斯浓度不等式，仅基于观测最少的臂来界定总遗憾，从而消除对 K 的依赖。
• 进行精细化的遗憾分析，使先前工作（如 [11, 23]）的遗憾界得到 O(log K) 倍的改进。

实验结果

研究问题

• RQ1 我们能否在概率触发臂的组合半-bandit 问题中，减少遗憾界对批量大小 K 的依赖？
• RQ2 一种考虑方差的新平滑性条件是否能改善边界区域的遗憾界？
• RQ3 基于方差感知的置信区间能否消除 CMAB-T 中遗憾的 O(K) 因子？
• RQ4 在非触发型 CMAB 且臂为独立的情况下，是否可能实现完全与批量大小无关的遗憾？
• RQ5 所提出的分析能否使现有遗憾界改进 O(log K) 倍？

主要发现

• 在 TPVM 条件下，BCUCB-T 将遗憾对批量大小 K 的依赖从 O(K) 降低至 O(log K) 或 O(log²K)。
• 在级联 bandit 和在线影响力最大化问题中，新遗憾界显著优于先前结果。
• SESCB 通过利用 VM 条件和次高斯置信区间，在非触发型 CMAB 且臂为独立的情况下实现了完全与批量大小无关的遗憾。
• 实验结果表明，在 200,000 轮后，BCUCB-T 在级联 bandit 中的遗憾比 CUCB 和 BCUCB-T 低约 20%。
• 在概率最大覆盖问题中，SESCB 相较于 BCUCB-T 和 ESCB 将遗憾降低了约 15%。
• 精细化的遗憾分析使现有遗憾界改进了 O(log K) 倍，对先前工作如 [11, 23] 有显著益处。