[论文解读] Data-driven Rank Breaking for Efficient Rank Aggregation

Ashish Khetan, Sewoong Oh|arXiv (Cornell University)|Jan 21, 2016

Game Theory and Voting Systems参考文献 48被引用 21

一句话总结

本文提出了一种最优的数据驱动排名拆分方法，通过根据数据的拓扑结构为成对比较分配不等权重，从而提高排名聚合的准确性。该方法实现了的一致性与极小化最大误差界，其准确性从根本上取决于比较图的谱隙。

ABSTRACT

Rank aggregation systems collect ordinal preferences from individuals to produce a global ranking that represents the social preference. Rank-breaking is a common practice to reduce the computational complexity of learning the global ranking. The individual preferences are broken into pairwise comparisons and applied to efficient algorithms tailored for independent paired comparisons. However, due to the ignored dependencies in the data, naive rank-breaking approaches can result in inconsistent estimates. The key idea to produce accurate and consistent estimates is to treat the pairwise comparisons unequally, depending on the topology of the collected data. In this paper, we provide the optimal rank-breaking estimator, which not only achieves consistency but also achieves the best error bound. This allows us to characterize the fundamental tradeoff between accuracy and complexity. Further, the analysis identifies how the accuracy depends on the spectral gap of a corresponding comparison graph.

研究动机与目标

• 解决朴素排名拆分方法中将所有成对比较同等对待、忽略完整排名中潜在数据依赖性的问题。
• 提出一种系统化的排名拆分方法，确保从部分序偏好中获得一致且准确的全局排名估计。
• 刻画排名聚合中计算复杂度与估计准确性之间的根本权衡。
• 阐明排名拆分估计器的准确性如何依赖于用户偏好所导出的比较图的谱特性。

提出的方法

• 提出一种最优的排名拆分估计器，根据收集数据的拓扑结构为成对比较分配权重。
• 使用比较图来建模项目之间的关系，其中边表示观察到的成对比较。
• 通过原始排名中共同项目的数量的倒数来定义每个成对比较的权重，以促进一致性。
• 利用谱图理论分析比较图，特别是将谱隙作为估计误差的关键决定因素。
• 将估计问题公式化为在成对比较上的加权最小二乘优化，以在Plackett-Luce模型下最小化误差。
• 证明所提出的估计器在所有一致的排名拆分估计器中均达到极小化最大误差界。

实验结果

研究问题

• RQ1 如何对排名拆分进行优化，以在忽略完整排名中依赖关系的情况下，确保一致且准确的全局排名估计？
• RQ2 从部分排名中导出的成对比较，其最优加权方案是什么，才能最小化估计误差？
• RQ3 比较图的谱隙如何影响排名拆分估计器的准确性？
• RQ4 在排名拆分框架下，排名聚合中的计算复杂度与估计准确性之间存在何种根本权衡？
• RQ5 数据驱动的排名拆分方法能否在保持计算高效的同时，实现误差率的极小化最优性？

主要发现

• 所提出的最优排名拆分估计器在所有一致估计器中均达到极小化最大误差界，确保在给定复杂度水平下的最佳可能准确性。
• 准确性从根本上由比较图的谱隙决定：谱隙越大，估计误差越小。
• 误差界按 $ \Omega\left(\frac{1}{\kappa^2} \cdot e^{-4b} \cdot \ell^2 \right) $ 缩放，其中 $ \kappa $ 为项目数量，$ b $ 控制效用分布范围，$ \ell $ 为底部排名位置中的项目数。
• 该方法通过不均等对待成对比较（即原始排名中共享上下文更多的比较被赋予更高权重）优于朴素排名拆分方法。
• 分析证明，两个最不受欢迎的项目排在底部 $ \ell $ 个位置的概率下界为 $ \Omega\left(\frac{e^{-4b}(1 - \lfloor \ell\beta_1/\ell \rfloor)^2}{2} \cdot \frac{\ell^2}{\kappa^2}\right) $，这支持了估计器的鲁棒性。
• 任何排名与将两个得分最低的项目置于最前位置的排名之间存在双射变换，证明了最不受欢迎项目排在前两位位置的概率，是其排在前两位任意位置的概率下界。