[論文レビュー] Robust Active Ranking from Sparse Noisy Comparisons.

Lucas Maystre, Matthias Grossglauser|arXiv (Cornell University)|Feb 19, 2015

Game Theory and Voting Systems参考文献 14被引用数 7

ひとこと要約

本稿は、スパースでノイズの多い対比較から正確な順位付けを効率的に回復するための、ブラックボックスソーティングアルゴリズムを用いたアクティブサンプリング戦略を提案する。ランダムサンプリングよりも低い誤差を達成し、ランクセンタリティとブラッドリー・テリー・モデルの最尤推定値の間の理論的関連を確立することで、最尤推定値を計算する新たな理論的収束性を保証する反復的アルゴリズムを可能にする。

ABSTRACT

From sporting events to sociological surveys, ranking from pairwise comparisons is a tool of choice for many applications. When certain pairs of items are difficult to compare, outcomes can be noisy, and it is necessary to develop robust strategies. In this work, we show how a simple active sampling scheme that uses a standard black box sorting algorithm enables the efficient recovery of the ranking, achieving low error with sparse samples. Both in theory and practice, this active strategy performs systematically better than selecting comparisons at random. As a detour, we show a link between Rank Centrality, a recently proposed algorithm for rank aggregation, and the ML estimator for the Bradley-Terry model. This enables us to develop a new, provably convergent iterative algorithm for computing the ML estimate.

研究の動機と目的

• スポーツやアンケートなどの実世界の応用において、スパースでノイズの多い対比較から順位を付ける課題に対処すること。
• ランダムな比較選択よりも順位精度を向上させるロバストなアクティブサンプリング戦略の開発。
• ブラッドリー・テリー・モデル下でのランクセンタリティと最尤推定値の理論的関連の確立。
• この文脈で最尤推定値を計算する新たな反復的アルゴリズムの設計（収束性が保証されるもの）。

提案手法

• 現在の順位推定に基づいて、対比較を選択的に適応的に選ぶ単純なアクティブサンプリング方式を採用する。
• 標準的なブラックボックスソーティングアルゴリズムを用いて、情報量の多い比較の選択を支援する。
• ランクセンタリティとブラッドリー・テリー・モデルの最尤推定値との関連を活用し、アルゴリズム設計を支援する。
• 理論的収束保証を備えた最尤推定値の計算のための反復的アルゴリズムを開発する。
• ブラッドリー・テリー・モデルの構造を活用し、スパースでノイズの多い比較データにおいてもロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 対比較がスパースでノイズが多い状況下で、アクティブサンプリング戦略はどのように順位精度を向上させ得るか？
• RQ2 ブラッドリー・テリー・モデル下で、ランクセンタリティと最尤推定値の関係は何か？
• RQ3 この文脈で、収束性が保証された反復的アルゴリズムを最尤推定値の計算に開発できるか？
• RQ4 アクティブサンプリングは、順位回復において、理論的および実験的にランダムな比較選択と比べてどのように異なるか？

主な発見

• 理論的分析および実験的評価の両方において、提案されたアクティブサンプリング戦略はランダムサンプリングよりも顕著に低い順位誤差を達成する。
• ブラッドリー・テリー・モデル下で、ランクセンタリティと最尤推定値との間の理論的関連が確立された。
• 最尤推定値を計算するための新たな反復的アルゴリズムは収束性が証明されており、順位集約の信頼性の高い手法を提供する。
• 本手法は、限られた数のノイズの多い対比較データに対しても、効率的かつ正確な順位回復を可能にする。