[论文解读] Active Ranking using Pairwise Comparisons

Kevin Jamieson, Robert D. Nowak|arXiv (Cornell University)|Sep 16, 2011

Data Management and Algorithms被引用 86

一句话总结

本文提出一种主动排序算法，通过自适应成对比较，在仅需平均 $ O(d \log n) $ 次查询的情况下，识别出嵌入在 $ d $-维欧几里得空间中的 $ n $ 个对象的排序，显著少于随机选择比较所需的 $ \binom{n}{2} $ 次。该方法利用几何结构实现接近最优的查询效率，并在成对比较存在噪声时仍保持鲁棒性。

ABSTRACT

This paper examines the problem of ranking a collection of objects using pairwise comparisons (rankings of two objects). In general, the ranking of $n$ objects can be identified by standard sorting methods using $n log_2 n$ pairwise comparisons. We are interested in natural situations in which relationships among the objects may allow for ranking using far fewer pairwise comparisons. Specifically, we assume that the objects can be embedded into a $d$-dimensional Euclidean space and that the rankings reflect their relative distances from a common reference point in $R^d$. We show that under this assumption the number of possible rankings grows like $n^{2d}$ and demonstrate an algorithm that can identify a randomly selected ranking using just slightly more than $d log n$ adaptively selected pairwise comparisons, on average. If instead the comparisons are chosen at random, then almost all pairwise comparisons must be made in order to identify any ranking. In addition, we propose a robust, error-tolerant algorithm that only requires that the pairwise comparisons are probably correct. Experimental studies with synthetic and real datasets support the conclusions of our theoretical analysis.

研究动机与目标

• 通过利用 $ d $-维空间中的几何结构，减少学习 $ n $ 个对象排序所需的成对比较次数。
• 证明自适应比较选择可实现仅需 $ O(d\log n) $ 次查询即可学习排序，远少于随机选择。
• 开发一种鲁棒算法，在保持低查询复杂度的同时容忍成对比较中的持续性错误。
• 使用具有已知低维嵌入的合成数据集和真实音频数据集，对理论发现进行经验验证。

提出的方法

• 假设对象嵌入在 $ \mathbb{R}^d $ 中，且排序反映其与某一公共参考点的距离，从而将可能排序的空间限制在 $ O(n^{2d}) $。
• 采用自适应、顺序的查询策略，基于当前不确定性选择最具信息量的成对比较，以最小化总查询次数。
• 采用几何一致性模型，其中 $ \theta_i \prec \theta_j $ 当且仅当 $ \|\theta_i - r\| < \|\theta_j - r\| $，对于某个参考点 $ r \in \mathbb{R}^d $。
• 为实现容错性，将成对响应建模为具有误差概率 $ p $ 的噪声响应，并使用一种最小化误差传播的鲁棒算法。
• 应用非度量多维缩放从相似性数据中恢复嵌入，从而实现在现实场景中的基于比较的排序。
• 基于查询预算 $ R = \Theta((1-2p)^{-2} \log n) $ 设定停止准则，确保以高概率恢复真实排序。

实验结果

研究问题

• RQ1 当对象嵌入在 $ \mathbb{R}^d $ 中时，主动且自适应的成对比较选择能否将学习排序所需的查询次数从 $ \binom{n}{2} $ 减少至 $ O(d\log n) $？
• RQ2 在几何结构约束下，排序的查询复杂度的根本极限是什么？该极限在实践中能否实现？
• RQ3 在持续性噪声成对比较下，主动排序的性能如何退化？
• RQ4 能否通过仅使用所有可能比较的小部分，使鲁棒算法恢复出接近最优准确率的排序？

主要发现

• 与 $ d $-维嵌入一致的可能排序数量以 $ n^{2d} $ 的速度增长，意味着仅需 $ O(d\log n) $ 比特信息即可指定一个排序。
• 自适应算法平均仅需略多于 $ d\log n $ 次成对比较即可识别出一个随机选择的排序，实现了接近最优的查询效率。
• 随机比较选择需要几乎全部 $ \binom{n}{2} $ 次比较才能识别任意排序，凸显了主动选择的强大优势。
• 在存在持续性错误（$ P(Y_{i,j} \neq y_{i,j}) = p $）的情况下，该鲁棒算法的期望 Kendall-Tau 错误为 $ O(d(1-2p)^{-2}\log n / n) \binom{n}{2} $，平均查询次数为 $ O(d(1-2p)^{-2}\log^2 n) $。
• 在合成数据集和音频数据集上的实证结果表明，查询次数从未超过理论下界两倍，验证了理论预测。
• 对于 $ d=2 $ 和 $ d=3 $，该鲁棒算法平均仅请求全部成对比较的 14.5% 和 18.5%，同时保持误差在最优基于嵌入排序的 0.07 以内。