[论文解读] MergeDTS: A Method for Effective Large-Scale Online Ranker Evaluation

Chang Li, Ilya Markov+2 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Bandit Algorithms Research参考文献 55被引用 4

一句话总结

MergeDTS 是一种用于大规模在线排序器评估的新型算法，结合了分治批处理与 Thompson Sampling，在 Condorcet 假设下高效识别最优排序器。与最先进的双人对抗多臂赌博机方法（如 MergeRUCB）相比，它在遗憾度与计算效率方面均有显著提升，尤其在涉及数百甚至数千个排序器的大规模场景中表现更优。

ABSTRACT

Online ranker evaluation is one of the key challenges in information retrieval. While the preferences of rankers can be inferred by interleaving methods, the problem of how to effectively choose the ranker pair that generates the interleaved list without degrading the user experience too much is still challenging. On the one hand, if two rankers have not been compared enough, the inferred preference can be noisy and inaccurate. On the other, if two rankers are compared too many times, the interleaving process inevitably hurts the user experience too much. This dilemma is known as the exploration versus exploitation tradeoff. It is captured by the $K$-armed dueling bandit problem, which is a variant of the $K$-armed bandit problem, where the feedback comes in the form of pairwise preferences. Today's deployed search systems can evaluate a large number of rankers concurrently, and scaling effectively in the presence of numerous rankers is a critical aspect of $K$-armed dueling bandit problems. In this paper, we focus on solving the large-scale online ranker evaluation problem under the so-called Condorcet assumption, where there exists an optimal ranker that is preferred to all other rankers. We propose Merge Double Thompson Sampling (MergeDTS), which first utilizes a divide-and-conquer strategy that localizes the comparisons carried out by the algorithm to small batches of rankers, and then employs Thompson Sampling (TS) to reduce the comparisons between suboptimal rankers inside these small batches. The effectiveness (regret) and efficiency (time complexity) of MergeDTS are extensively evaluated using examples from the domain of online evaluation for web search. Our main finding is that for large-scale Condorcet ranker evaluation problems, MergeDTS outperforms the state-of-the-art dueling bandit algorithms.

研究动机与目标

• 解决在涉及数千个排序器时在线排序器评估的可扩展性挑战。
• 在 Condorcet 假设下，解决大规模双人对抗多臂赌博机问题中的探索-利用权衡。
• 开发一种方法，在保持高有效性（低遗憾度）的同时，提升现有大规模双人对抗多臂赌博机算法的计算效率。
• 在存在噪声用户反馈的情况下，确保理论上的严谨性与实际应用中的鲁棒性，以准确识别最优排序器。

提出的方法

• MergeDTS 使用分治策略将排序器集合划分为小而可控的批次，限制全局比较次数。
• 在每个批次内，应用 Thompson Sampling (TS) 选择排序器对进行交错，利用后验分布优先选择信息量更高的比较。
• 通过基于 UCB 的淘汰策略动态消除批次内的次优排序器，减少不必要的比较。
• 将双 Thompson Sampling (DTS) 原理整合进分层批处理框架中，相比先前方法中使用的均匀随机选择，显著提升了效率。
• 当时间范围 $T$ 已知且探索参数 $\alpha > 0.5$ 时，该方法具有理论上的严谨性，可确保收敛至最优排序器。
• 参数调优基于实验评估，最终选定 $\alpha = 0.8^6 \approx 0.2621$，$M = 16$，$C = 4,000,000$，作为遗憾度与失败率之间的最优权衡。

实验结果

研究问题

• RQ1 能否设计一种可扩展的双人对抗多臂赌博机算法，在涉及数千个排序器的大规模在线评估中有效识别最优排序器？
• RQ2 将 Thompson Sampling 与分批、局部化比较相结合，相较于现有大规模双人对抗多臂赌博机方法，如何改善遗憾度与时间复杂度？
• RQ3 当 Condorcet 胜者不明确或成对偏好中存在循环时，MergeDTS 在性能与鲁棒性方面能保持到何种程度？
• RQ4 在实际应用中，参数 $\alpha$、$M$ 与 $C$ 如何影响遗憾度、失败率与计算效率之间的权衡？

主要发现

• 当 $\alpha = 0.8^4$ 时，MergeDTS 将累积遗憾度降低至 DTS 的约三分之一，表明其在大规模场景下具有更优的有效性。
• 当 $\alpha = 0.8^6 \approx 0.2621$ 时，MergeDTS 实现了低遗憾度与极低失败率之间的平衡，在 100,000 次试验中仅观察到一次失败。
• 将批次大小 $M$ 从较小值提升至 $M = 16$ 显著降低了遗憾度，因为更大的批次能提供更具信息量的局部比较。
• MergeDTS 的时间复杂度为 $O(TM^2)$，在实际批次大小下仍保持可处理性，因此在大规模场景中比 DTS 更高效。
• 在多个 MSLR-Navigational 基准测试中，MergeDTS 在遗憾度与计算效率方面均优于当前最先进的大规模双人对抗多臂赌博机算法 MergeRUCB。
• 即使参数超出理论适用范围，MergeDTS 仍保持强大性能，表明理论与实际结果之间存在实际差距。