[论文解读] Merge Double Thompson Sampling for Large Scale Online Ranker Evaluation

Chang Li, Ilya Markov+2 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Bandit Algorithms Research被引用 3

一句话总结

本文提出了一种可扩展的 K-armed 对抗多臂赌博机算法 Merge Double Thompson Sampling（MergeDTS），用于在 Condorcet 假设下进行大规模在线排序器评估。通过结合分治策略与 Thompson Sampling，MergeDTS 降低了遗憾值和时间复杂度，在大规模网络搜索评估场景中优于当前最先进的对抗多臂赌博机方法。

ABSTRACT

Online ranker evaluation is one of the key challenges in information retrieval. While the preferences of rankers can be inferred by interleaved comparison methods, how to effectively choose the pair of rankers to generate the result list without degrading the user experience too much can be formalized as a K-armed dueling bandit problem, which is an online partial-information learning framework, where feedback comes in the form of pair-wise preferences. A commercial search system may evaluate a large number of rankers concurrently, and scaling effectively in the presence of numerous rankers has not been fully studied. In this paper, we focus on solving the large-scale online ranker evaluation problem under the so-called Condorcet assumption, where there exists an optimal ranker that is preferred to all other rankers. We propose Merge Double Thompson Sampling (MergeDTS), which first utilizes a divide-and-conquer strategy that localizes the comparisons carried out by the algorithm to small batches of rankers, and then employs the Thompson Sampling (TS) to reduce the comparisons between suboptimal rankers inside these small batches. The effectiveness (regret) and efficiency (time complexity) of MergeDTS are extensively evaluated using examples from the domain of online evaluation for web search. Our main finding is that for large-scale Condorcet ranker evaluation problems MergeDTS outperforms the state-of-the-art dueling bandit algorithms.

研究动机与目标

• 解决在在线信息检索系统中高效评估大量排序器的挑战。
• 在存在大量排序器的情况下，有效扩展在线排序器评估，同时保持用户体验。
• 将问题形式化为在 Condorcet 假设下的 K-armed 对抗多臂赌博机问题，其中存在一个优于所有其他排序器的最优排序器。
• 通过局部比较与自适应采样，开发一种最小化遗憾值与计算成本的方法，适用于大规模场景。
• 在遗憾值与时间复杂度方面，性能优于现有对抗多臂赌博机算法。

提出的方法

• 应用分治策略，将大量排序器划分为更小、更易管理的批次。
• 在每个批次内，使用 Thompson Sampling 基于对偏好结果的后验信念，自适应地选择并比较排序器。
• 通过概率采样限制与次优排序器的比较，减少不必要的评估。
• 使用分层聚合策略合并各批次的结果，以识别全局最优排序器。
• 通过聚焦于有前景的排序器进行探索，同时最小化与明显劣质排序器的比较，从而保持低遗憾值。
• 通过将比较限制在局部批次内，确保算法的可扩展性，降低整体时间复杂度。

实验结果

研究问题

• RQ1 分治策略是否能有效扩展对抗多臂赌博机算法，以适应大规模在线排序器评估？
• RQ2 与替代选择策略相比，Thompson Sampling 在局部排序器批次中如何减少遗憾值？
• RQ3 在大规模 Condorcet 场景下，MergeDTS 在保持低遗憾值的同时，能在多大程度上降低时间复杂度？
• RQ4 在真实世界网络搜索评估场景中，MergeDTS 与当前最先进的对抗多臂赌博机算法相比，性能如何？
• RQ5 批次大小与合并策略对算法整体遗憾值与收敛速度有何影响？

主要发现

• 在大规模在线排序器评估中，MergeDTS 显著降低了遗憾值，优于现有对抗多臂赌博机算法。
• 通过将比较局部化在小规模排序器批次内，该算法实现了更低的时间复杂度。
• 在批次内使用 Thompson Sampling 有效减少了与次优排序器的比较，提升了效率。
• 分治策略使得即使在评估数百甚至数千个排序器时，也能实现可扩展的性能。
• 在真实网络搜索示例上的实证评估表明，MergeDTS 在遗憾值与计算效率方面均优于当前最先进的方法。
• 该方法在存在单一最优排序器的 Condorcet 假设下，仍能保持强劲性能。