[论文解读] Just Sort It! A Simple and Effective Approach to Active Preference Learning

Lucas Maystre, Matthias Grossglauser|arXiv (Cornell University)|Feb 19, 2015

Machine Learning and Algorithms被引用 7

一句话总结

本文提出了一种简单的主动偏好学习方法，通过反复应用排序算法（如快速排序）自适应地选择信息量丰富的成对比较。尽管在 Bradley-Terry 模型下比较结果存在噪声，快速排序的输出仍能保持与真实排序的低位移，且通过聚合多个运行结果，可在 O(log⁵ n) 次运行内恢复近乎完美的排序。该方法以极低的计算成本实现了最先进性能，优于随机采样和复杂的主动学习策略。

ABSTRACT

We address the problem of learning a ranking by using adaptively chosen pairwise comparisons. Our goal is to recover the ranking accurately but to sample the comparisons sparingly. If all comparison outcomes are consistent with the ranking, the optimal solution is to use an efficient sorting algorithm, such as Quicksort. But how do sorting algorithms behave if some comparison outcomes are inconsistent with the ranking? We give favorable guarantees for Quicksort for the popular Bradley-Terry model, under natural assumptions on the parameters. Furthermore, we empirically demonstrate that sorting algorithms lead to a very simple and effective active learning strategy: repeatedly sort the items. This strategy performs as well as state-of-the-art methods (and much better than random sampling) at a minuscule fraction of the computational cost.

研究动机与目标

• 为通过最小化所需比较次数，高效学习来自噪声成对比较的排序提供解决方案。
• 探究在 Bradley-Terry 模型下，即使比较结果与真实排序不一致，排序算法是否可作为有效的主动学习策略。
• 证明重复排序可实现高质量的排序估计，且计算开销极低。
• 为在噪声比较下快速排序输出的位移提供理论保证，并表明通过运行聚合可高概率恢复真实排序。

提出的方法

• 该方法使用快速排序生成自适应的成对比较查询，利用算法内在的、选择信息丰富比较的能力。
• 假设采用 Bradley-Terry 模型，其中错误比较的概率随项目效用差异的增大而减小。
• 通过基于成对效用差异的指数随机变量的顺序统计量，理论分析界定了快速排序输出的位移。
• 通过多数投票方式聚合多个独立的快速排序运行，以提高排序准确率并减少误差。
• 该方法无需超参数调优，计算成本与随机采样相当，因此具有高度实用性。
• 通过 Chernoff 不等式推导理论保证，表明在 O(λ² log⁵ n) 次运行下，几乎所有项目都能以高概率被正确排序。

实验结果

研究问题

• RQ1 在存在噪声成对比较的情况下，像快速排序这样的排序算法能否作为有效的主动学习策略？
• RQ2 当比较结果在 Bradley-Terry 模型下生成时，快速排序输出的位移可提供何种理论保证？
• RQ3 在排序准确率和计算成本方面，重复排序的性能与最先进主动学习方法相比如何？
• RQ4 通过聚合多个快速排序运行，能否以高概率恢复真实排序？需要多少次运行？

主要发现

• 快速排序输出的位移以高概率为 O(λn / log n)，在每对元素最多比较一次的方法中，该结果为最优（仅差常数因子）。
• 在 O(λ² log⁵ n) 次独立快速排序运行下，该方法可高概率地恢复几乎所有项目的真实排序。
• 基于排序的主动学习策略在性能上可媲美最先进方法，但计算成本与随机采样相当。
• 在三个数据集上的实证评估表明，该排序方法显著优于随机采样，并在排序准确率上匹配或超过其他主动学习策略。
• 一种仅查询当前排序估计中相邻项目的不确定性采样变体表现不佳，凸显了基于排序方法的优越性。
• 该方法对噪声具有鲁棒性，即使相邻项目之间的距离较小，只要运行次数足够多，仍能保持强劲性能。