[论文解读] Adaptive Sampling for Coarse Ranking

Sumeet Katariya, Lalit Jain+3 more|arXiv (Cornell University)|Feb 20, 2018

Game Theory and Voting Systems被引用 6

一句话总结

本文提出 LUCBRank，一种计算高效的 PAC 算法，用于自适应粗粒度排序，通过最少样本对项目按其均值进行聚类。通过聚焦于聚类间分离度并使用 UCB 风格的置信区间，LUCBRank 在样本复杂度方面显著优于最先进方法——即使基线方法假设已知底层参数模型，其性能仍高出 2–3 倍。

ABSTRACT

We consider the problem of active coarse ranking, where the goal is to sort items according to their means into clusters of pre-specified sizes, by adaptively sampling from their reward distributions. This setting is useful in many social science applications involving human raters and the approximate rank of every item is desired. Approximate or coarse ranking can significantly reduce the number of ratings required in comparison to the number needed to find an exact ranking. We propose a computationally efficient PAC algorithm LUCBRank for coarse ranking, and derive an upper bound on its sample complexity. We also derive a nearly matching distribution-dependent lower bound. Experiments on synthetic as well as real-world data show that LUCBRank performs better than state-of-the-art baseline methods, even when these methods have the advantage of knowing the underlying parametric model.

研究动机与目标

• 解决在高噪声、真实世界场景中完整排序效率低下的问题，其中精确排序既不切实际也非必要。
• 为实值反馈和成对比较反馈两种情形，形式化在线 PAC-粗粒度排序问题，允许误差容忍度 ε 和失败概率 δ。
• 设计一种非参数化、自适应的算法，在确保可靠聚类到预设组别的同时最小化采样次数。
• 建立样本复杂度的理论边界，以证明该算法的高效性与鲁棒性。
• 通过实证结果表明，自适应机制在粗粒度排序中带来显著收益，而相比之下在完整排序中收益微乎其微。

提出的方法

• 提出 LUCBRank，一种类似 UCB 的算法，通过基于上置信界自适应采样，高效估计项目均值。
• 使用切尔诺夫信息度量项目均值与聚类边界之间的距离，指导采样决策。
• 优先采样靠近聚类边界的项目，因为这些位置不确定性最高，且对聚类结果影响最大。
• 应用 Borda 约化方法将算法扩展至成对比较反馈，使其适用于对弈带 bandit 场景。
• 为每个项目的均值维护置信区间，并在每次采样后更新，使用霍夫丁型集中不等式。
• 一旦某项目的聚类排名被置信确定，即停止采样，从而避免不必要的评估。

实验结果

研究问题

• RQ1 与非自适应或完整排序方法相比，自适应采样是否能显著减少粗粒度排序所需的样本数量？
• RQ2 自适应粗粒度排序算法的样本复杂度如何随与聚类边界的距离及底层分布参数变化而变化？
• RQ3 在项目均值接近、精确排序不可行的高噪声、真实世界场景中，自适应机制是否能带来可测量的性能提升？
• RQ4 样本复杂度的分布相关上界与下界如何比较？它们揭示了所提算法的最优性程度如何？
• RQ5 即使在参数基线已知真实模型结构的前提下，非参数化 UCB 基础算法是否仍能优于参数化基线？

主要发现

• LUCBRank 实现了样本复杂度上界，其与项目均值到最近聚类边界的切尔诺夫信息成反比。
• 即使在基线方法假设已知真实参数模型的前提下，LUCBRank 在合成数据和真实世界 MTurk 数据上的性能仍比最先进方法高出 2–3 倍。
• 自适应方法如 LUCBRank 在粗粒度排序中表现显著优异，而在完整排序中则几乎无改进，原因在于高噪声和均值接近。
• 样本复杂度的下界与上界极为接近，且以 KL 散度形式表达，证实了上界理论的紧致性。
• LUCBRank 比均匀采样更有效地减少了聚类间颠倒（inter-cluster inversions），尽管其容忍更高的聚类内颠倒率（intra-cluster inversions），这与设计目标一致。
• 在成对比较场景中，LUCBRank 即使在参数化版本的快速排序（Quicksort）和 AR 算法中也表现更优，展现出对不同反馈类型的鲁棒性与适应性。