[论文解读] Multi-dueling Bandits with Dependent Arms

Yanan Sui, Vincent Zhuang+2 more|arXiv (Cornell University)|Apr 29, 2017

Advanced Bandit Algorithms Research被引用 3

一句话总结

本文提出 SelfSparring 算法用于具有依赖臂的多对偶带 bandits 问题，通过类似 Thompson Sampling 的随机带 bandits 方法将问题简化为传统带 bandits 设置，同时使用高斯过程先验建模臂之间的依赖关系。该方法在臂的数量增加时，显著降低了遗憾值，优于当前最先进的对偶带 bandits 方法，且具有理论上的无遗憾保证，并在合成数据集和真实世界数据集上得到实证验证。

ABSTRACT

The dueling bandits problem is an online learning framework for learning from pairwise preference feedback, and is particularly well-suited for modeling settings that elicit subjective or implicit human feedback. In this paper, we study the problem of multi-dueling bandits with dependent arms, which extends the original dueling bandits setting by simultaneously dueling multiple arms as well as modeling dependencies between arms. These extensions capture key characteristics found in many real-world applications, and allow for the opportunity to develop significantly more efficient algorithms than were possible in the original setting. We propose the \selfsparring algorithm, which reduces the multi-dueling bandits problem to a conventional bandit setting that can be solved using a stochastic bandit algorithm such as Thompson Sampling, and can naturally model dependencies using a Gaussian process prior. We present a no-regret analysis for multi-dueling setting, and demonstrate the effectiveness of our algorithm empirically on a wide range of simulation settings.

研究动机与目标

• 为解决传统对偶带 bandits 的局限性，即仅允许成对比较且将臂视为独立，通过支持多个臂同时对偶比较来改进。
• 在高维或无限动作空间中，利用低维核结构建模臂之间的依赖关系。
• 开发一种系统化且高效的算法，将多对偶带 bandits 问题简化为标准带 bandits 问题，同时保持理论上的遗憾保证。
• 通过实证验证，证明所提方法在遗憾表现上优于现有对偶带 bandits 算法，特别是在大规模或结构化动作空间中。

提出的方法

• 提出 SelfSparring 算法，通过将每个臂视为随机带 bandits 框架中的候选选择，将多对偶带 bandits 问题简化为标准多臂带 bandits 问题。
• 使用带有核函数的高斯过程先验来建模臂之间的依赖关系，从而实现在相似动作间的高效泛化。
• 在简化后的问题上应用 Thompson Sampling 或类似随机带 bandits 算法，以平衡探索与利用。
• 采用受 Ailon 等人（2014）提出的 Sparring 启发的自对偶机制，但与原始方法不同，本工作提供了理论上的无遗憾分析。
• 提出一种核化变体 KernelSelfSparring，直接在动作空间上使用高斯过程对偏好函数进行建模。
• 在合成实验中使用平方指数核和逻辑链接函数，从效用函数生成偏好概率。

实验结果

研究问题

• RQ1 支持多个臂同时比较的多对偶带 bandits 框架，是否能实现低于成对比较对偶带 bandits 的遗憾？
• RQ2 在对偶带 bandits 设置中，如何有效建模臂之间的依赖关系以提高样本效率？
• RQ3 将多对偶问题简化为带高斯过程先验的标准带 bandits 问题，是否能获得优于现有对偶带 bandits 算法的遗憾性能？
• RQ4 所提方法的性能如何随臂的数量增加而变化，特别是在高维或连续动作空间中？

主要发现

• SelfSparring 在多对偶设置中实现了无遗憾性能，遗憾值随时间呈次线性增长，而许多先前的对偶带 bandits 算法的遗憾值随臂的数量线性增长。
• 在 MSLR-30K 数据集中选取 16 个臂的子集进行模拟，SelfSparring 在累积遗憾方面显著优于 MDB 算法。
• 在核化 2 对偶和多对偶设置中，KernelSelfSparring 在 Forrester 和 Six-Hump Camel 目标函数上的表现优于 BOPPER 和 GP-Sparring。
• SelfSparring 的遗憾值并未随臂的数量显著增加，表明其在大规模动作空间中具有出色的可扩展性和鲁棒性。
• 实证结果表明，与传统对偶带 bandits 相比，SelfSparring 在比较更多臂时，相对性能优势随臂数增加而提升。