[論文レビュー] An Analysis of Rank Aggregation Algorithms

Gattaca Lv|arXiv (Cornell University)|Feb 21, 2014

Game Theory and Voting Systems参考文献 13被引用数 3

ひとこと要約

本稿では、正確なケメンィ順序付け順位付けを計算するための固定パラメータ動的計画法アルゴリズムを提案し、順位付けが類似している（平均二項ケンダール・トウ距離が低い）場合に、NP困難な順位集約が効率的になることを示している。この手法は、実世界の大学順位付けデータにおいて最適ケメンィ順位付けを効率的に計算でき、類似性が高い状況ではヒューリスティック法やボーダ法を上回る性能を発揮する。

ABSTRACT

Rank aggregation is an essential approach for aggregating the preferences of multiple agents. One rule of particular interest is the Kemeny rule, which maximises the number of pairwise agreements between the final ranking and the existing rankings. However, Kemeny rankings are NP-hard to compute. This has resulted in the development of various algorithms. Fortunately, NP-hardness may not reflect the difficulty of solving problems that arise in practice. As a result, we aim to demonstrate that the Kemeny consensus can be computed efficiently when aggregating different rankings in real case. In this paper, we extend a dynamic programming algorithm originally for Kemeny scores. We also provide details on the implementation of the algorithm. Finally, we present results obtained from an empirical comparison of our algorithm and two other popular algorithms based on real world and randomly generated problem instances. Experimental results show the usefulness and efficiency of the algorithm in practical settings.

研究の動機と目的

• ケメンィコンセンサスの計算非効率性を緩和するため、実用的可解性を探索すること。
• 類似した順位付けを有する現実世界の設定において、ケメンィ順位付け計算のNP困難性が実際の障壁となるかどうかを評価すること。
• 固定パラメータ動的計画法アルゴリズムを実装し、ボーダ法およびヒューリスティック法と実験的に比較すること。
• 実際の状況で正確ケメンィコンセンサスを効率的に計算できる条件を特定すること。
• 順位付けの類似度（平均二項ケンダール・トウ距離で測定）がアルゴリズムの性能に与える影響を評価すること。

提案手法

• 元来ケメンィスコア計算を目的として設計された固定パラメータ動的計画法を拡張し、正確ケメンィコンセンサス順位付けを計算する。
• 計算複雑性に与える影響を考慮し、平均二項ケンダール・トウ距離を主要パラメータとして用いる。
• 3次元動的計画法テーブルを実装し、二項一致に基づく候補の順位への割り当てを考慮した状態遷移を実施する。
• 各順位における候補大学の数を制限するためのプルーニング技術を採用し、d（平均二項距離）を用いて4dに制限する。
• 類似度の異なるレベル（d）を有する実大学順位付けおよびランダムに生成されたデータを用いた実験的評価を実施する。
• 実行時間および解の質の観点から、ボーダ法およびヒューリスティックアルゴリズムと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 順位付けが十分に類似している場合、正確ケメンィコンセンサスは実際の状況でも効率的に計算可能か？
• RQ2 平均二項ケンダール・トウ距離が動的計画法の実行時間に与える影響はいかほどか？
• RQ3 提案された動的計画法アルゴリズムは、ボーダ法およびヒューリスティック法と比較して、性能および正確性の点でどのように差を示すか？
• RQ4 動的計画法アプローチがメモリ制約により非現実的になる条件は何か？
• RQ5 アルゴリズムは正確性を維持したまま、どの程度の大規模データセットにスケーリング可能か？

主な発見

• 平均二項ケンダール・トウ距離が低い場合（例：実世界の大学順位付け）、動的計画法アルゴリズムは正確ケメンィコンセンサスを効率的に計算できる。
• 本アルゴリズムは、類似度が高いデータ（例：SAME_m）に対しては、ランダムまたは類似度が低いデータ（例：DIFF_m, RANDOM_m）よりも顕著に優れた性能を示す。
• d ≤ m/2 の場合、候補数mにかかわらずアルゴリズムは効率的であり、dに関して固定パラメータ可解性が示されている。
• dが大きい場合、mが増加するにつれて動的計画法の実行時間が指数関数的に増加する。RANDOM_mではmを6から12に増加させた場合に顕著に顕われた。
• d ≥ m の場合、メモリ消費量が著しく増加し、必要なテーブルサイズがO(2^m · m²)にまで増大するため、m ≥ 21 で2GBを超えるメモリを要し、非現実的になる。
• ボーダ法およびヒューリスティック法はmが大きくなっても効率的であるが、dが小さい場合にのみ正確ケメンィ最適性を保証する動的計画法アプローチが有効である。