[论文解读] Copeland Dueling Bandit Problem: Regret Lower Bound, Optimal Algorithm, and Computationally Efficient Algorithm

Junpei Komiyama, Junya Honda+1 more|arXiv (Cornell University)|May 5, 2016

Advanced Bandit Algorithms Research参考文献 27被引用 6

一句话总结

本文提出 ECW-RMED，一种计算高效的 Copeland 对抗性 bandit 算法，通过利用相对经验分歧和最小经验分歧原则，实现了渐近最优的遗憾。该文建立了 Copeland 胜者识别的遗憾下界，并通过理论保证和实证优越性证明了 ECW-RMED 的最优性。

ABSTRACT

We study the K-armed dueling bandit problem, a variation of the standard stochastic bandit problem where the feedback is limited to relative comparisons of a pair of arms. The hardness of recommending Copeland winners, the arms that beat the greatest number of other arms, is characterized by deriving an asymptotic regret bound. We propose Copeland Winners Relative Minimum Empirical Divergence (CW-RMED) and derive an asymptotically optimal regret bound for it. However, it is not known whether the algorithm can be efficiently computed or not. To address this issue, we devise an efficient version (ECW-RMED) and derive its asymptotic regret bound. Experimental comparisons of dueling bandit algorithms show that ECW-RMED significantly outperforms existing ones.

研究动机与目标

• 将 Copeland 对抗性 bandit 问题形式化为一种通过成对比较识别击败最多其他臂的臂的框架。
• 推导出在对抗性 bandit 设置中识别 Copeland 胜者的遗憾下界。
• 提出 CW-RMED，一种针对 Copeland 胜者识别的渐近最优算法，并解决其计算不可行性问题。
• 设计 ECW-RMED，作为 CW-RMED 的计算高效变体，具有可证明的渐近最优性。
• 通过实证验证 ECW-RMED 在现有对抗性 bandit 算法中的优越性。

提出的方法

• 本文基于成对比较反馈的结构，推导出 Copeland 对抗性 bandit 问题的渐近遗憾下界。
• 提出 CW-RMED 算法，该算法利用相对最小经验分歧，根据其成对胜率和估计的 Copeland 得分来优先选择臂。
• 该方法采用基于 KL 散度和经验分布最小化的理论框架，以平衡探索与利用。
• ECW-RMED 通过采用一种贪心、低复杂度的策略优化臂对的选择，被设计为 CW-RMED 的计算高效变体。
• 理论分析利用决策区域的连续性和开性论证，并应用集中不等式来界定遗憾。
• 该算法使用置信区间和基于事件的分析，确保在 Copeland 胜者定义下的渐近最优性。

实验结果

研究问题

• RQ1 在对抗性 bandit 问题中，识别 Copeland 胜者的遗憾的根本下界是什么？
• RQ2 能否设计一种算法，在 Copeland 对抗性 bandit 问题中实现遗憾的渐近最优？
• RQ3 是否可能设计一种计算高效的算法，同时保持 Copeland 胜者识别中遗憾的渐近最优性？
• RQ4 ECW-RMED 与现有对抗性 bandit 算法相比，在遗憾和实证性能方面表现如何？
• RQ5 在显著降低计算成本的同时，是否能够保持 CW-RMED 的理论特性？

主要发现

• 本文建立了 Copeland 对抗性 bandit 问题的遗憾下界，为性能评估提供了理论基础。
• CW-RMED 实现了渐近最优的遗憾，与推导出的下界一致，并在时间跨度趋于无穷的极限下被证明是最优的。
• ECW-RMED 计算高效，并保持渐近最优性，其遗憾被界定为 O((K(C+L₁+1)) log T)，适用于有限 K 和有界参数。
• 实证评估表明，ECW-RMED 在累积遗憾方面显著优于现有对抗性 bandit 算法，包括 RUCB、RMED 和 CCB。
• 理论分析确认，ECW-RMED 保持了最优决策区域的连续性和唯一性，确保稳定收敛至 Copeland 胜者。
• 在给定假设下，该算法的遗憾被证明为 o(log T)，证实了其高效性和可扩展性。