[论文解读] Combinatorial Pure Exploration of Dueling Bandit

Wei Chen, Yihan Du+2 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Bandit Algorithms Research参考文献 30被引用 7

一句话总结

本文提出了组合纯探索对弈Bandits（CPE-DB）框架，这是一种新颖的框架，用于在二分图中通过对决的相对反馈识别最佳候选-位置匹配。该研究提出了高效的算法——CLUCB-Borda-PAC与CAR-Cond，实现了接近最优的样本复杂度，并具有多项式时间的每轮运行时间，这是该设置下首次实现此类算法以识别Condorcet胜者。

ABSTRACT

In this paper, we study combinatorial pure exploration for dueling bandits (CPE-DB): we have multiple candidates for multiple positions as modeled by a bipartite graph, and in each round we sample a duel of two candidates on one position and observe who wins in the duel, with the goal of finding the best candidate-position matching with high probability after multiple rounds of samples. CPE-DB is an adaptation of the original combinatorial pure exploration for multi-armed bandit (CPE-MAB) problem to the dueling bandit setting. We consider both the Borda winner and the Condorcet winner cases. For Borda winner, we establish a reduction of the problem to the original CPE-MAB setting and design PAC and exact algorithms that achieve both the sample complexity similar to that in the CPE-MAB setting (which is nearly optimal for a subclass of problems) and polynomial running time per round. For Condorcet winner, we first design a fully polynomial time approximation scheme (FPTAS) for the offline problem of finding the Condorcet winner with known winning probabilities, and then use the FPTAS as an oracle to design a novel pure exploration algorithm ${\sf CAR}$-${\sf Cond}$ with sample complexity analysis. ${\sf CAR}$-${\sf Cond}$ is the first algorithm with polynomial running time per round for identifying the Condorcet winner in CPE-DB.

研究动机与目标

• 形式化一种新的问题设置CPE-DB，将组合纯探索扩展至具有相对反馈的对弈Bandits。
• 解决在最小化对决样本数量的前提下，识别满足Borda与Condorcet胜者标准的最佳候选-位置匹配的挑战。
• 设计兼具低样本复杂度与每轮多项式时间复杂度的算法，克服指数级决策空间与相对反馈的约束。
• 建立理论上的样本复杂度下界，并首次为CPE-DB中Condorcet胜者识别提供多项式时间算法。

提出的方法

• 将CPE-DB中的Borda胜者问题简化为原始CPE-MAB框架，从而可复用现有算法工具。
• 设计了CLUCB-Borda-PAC与CLUCB-Borda-Exact算法，实现每轮多项式时间计算与紧密的样本复杂度边界。
• 为具有已知概率的离线Condorcet胜者问题设计了全多项式时间近似方案（FPTAS）。
• 将FPTAS作为Oracle，构建了新颖的在线算法CAR-Cond，确保每轮运行时间为多项式时间。
• 通过分布扰动方法应用信息论下界，推导出问题相关的样本复杂度下界。
• 采用验证间隙分析，关联样本复杂度的上下界，表明结果在ℓ²因子范围内接近最优。

实验结果

研究问题

• RQ1 CPE-DB中的Borda胜者能否以接近CPE-MAB的样本复杂度高效识别？
• RQ2 在指数级决策空间与相对反馈的约束下，是否存在用于识别CPE-DB中Condorcet胜者的多项式时间算法？
• RQ3 在δ-正确保证下，识别CPE-DB中Condorcet胜者的根本样本复杂度极限是什么？
• RQ4 所提出的CAR-Cond算法的样本复杂度与信息论下界相比如何？
• RQ5 能否利用离线Condorcet问题的FPTAS来设计高效的在线纯探索算法？

主要发现

• CLUCB-Borda-PAC与CLUCB-Borda-Exact算法在具有Borda胜者的CPE-DB子类问题中实现了近乎最优的样本复杂度。
• CAR-Cond算法是首个在CPE-DB中实现Condorcet胜者识别每轮多项式时间复杂度的算法，解决了关键开放挑战。
• CAR-Cond的样本复杂度在ℓ²因子范围内匹配信息论下界，表明其近乎最优。
• 为具有Borda胜者的CPE-DB建立了问题相关的下界，表明CLUCB-Borda-Exact实现了近乎最优性能。
• 离线Condorcet问题的FPTAS使高效在线探索成为可能，展示了近似方案在纯探索设置中的强大作用。
• 分析结果确认，CAR-Cond中的验证间隙控制了样本复杂度，且上界与下界之间相差一个ℓ²因子。