[论文解读] An Analysis of Rank Aggregation Algorithms

Gattaca Lv|arXiv (Cornell University)|Feb 21, 2014

Game Theory and Voting Systems参考文献 13被引用 3

一句话总结

本文提出了一种固定参数可追踪的动态规划算法，用于计算精确的Kemeny共识排名，表明当排名相似时（平均成对Kendall-Tau距离较低），NP难的排名聚合问题变得高效。该方法在真实世界大学数据上高效计算出最优Kemeny排名，在相似性较高时优于启发式方法和Borda方法。

ABSTRACT

Rank aggregation is an essential approach for aggregating the preferences of multiple agents. One rule of particular interest is the Kemeny rule, which maximises the number of pairwise agreements between the final ranking and the existing rankings. However, Kemeny rankings are NP-hard to compute. This has resulted in the development of various algorithms. Fortunately, NP-hardness may not reflect the difficulty of solving problems that arise in practice. As a result, we aim to demonstrate that the Kemeny consensus can be computed efficiently when aggregating different rankings in real case. In this paper, we extend a dynamic programming algorithm originally for Kemeny scores. We also provide details on the implementation of the algorithm. Finally, we present results obtained from an empirical comparison of our algorithm and two other popular algorithms based on real world and randomly generated problem instances. Experimental results show the usefulness and efficiency of the algorithm in practical settings.

研究动机与目标

• 通过探索实际可追踪性，解决Kemeny共识在排名聚合中的计算不可行性问题。
• 评估Kemeny排名计算的NP难性是否在实际场景中（当排名相似时）构成障碍。
• 实现并经验性地比较固定参数动态规划算法与Borda计数法及启发式方法。
• 确定在何种条件下可实际高效计算精确的Kemeny共识。
• 评估排名相似性（以平均成对Kendall-Tau距离衡量）对算法性能的影响。

提出的方法

• 将原本专用于计算Kemeny得分的固定参数动态规划算法扩展，用于计算精确的Kemeny共识排名。
• 以平均成对Kendall-Tau距离作为关键参数，利用其对计算复杂度的影响。
• 实现一个三维动态规划表，其中状态转移基于成对一致性，考虑将候选对象分配至各排名。
• 采用剪枝技术限制每级排名的候选大学数量，上限为4d，其中d为平均成对距离。
• 在真实大学排名和不同相似度水平（d）的随机生成数据上进行经验评估。
• 从运行时间和解的质量两个方面，与Borda计数法和启发式算法进行性能比较。

实验结果

研究问题

• RQ1 当排名足够相似时，能否在实际中高效计算精确的Kemeny共识？
• RQ2 平均成对Kendall-Tau距离如何影响动态规划算法的运行时间？
• RQ3 所提出的动态规划算法在性能和准确性方面与Borda计数法和启发式方法相比如何？
• RQ4 在何种条件下，由于内存限制，动态规划方法变得不可行？
• RQ5 该算法在保持精确性的同时，可扩展至多大规模的数据集？

主要发现

• 当平均成对Kendall-Tau距离较低时（如真实世界大学排名），动态规划算法能高效计算精确的Kemeny共识。
• 该算法在高相似性数据集（如SAME_m）上的性能显著优于随机或不相似数据集（如DIFF_m、RANDOM_m）。
• 对于低d值（d ≤ m/2）的数据集，无论候选对象数量m如何，算法均保持高效，表明其相对于d具有固定参数可追踪性。
• 当d较大时，动态规划算法的运行时间随m呈指数增长，如RANDOM_m所示，当m从6增至12时，运行时间显著上升。
• 当d ≥ m时，算法因内存消耗过大而变得不可行，因所需表大小增长至O(2^m · m²)，当m ≥ 21时超过2GB。
• Borda计数法和启发式方法即使在m较大时仍保持高效，但仅动态规划方法在d较小时能保证精确的Kemeny最优性。