[論文レビュー] Top-$K$ Ranking from Pairwise Comparisons: When Spectral Ranking is Optimal

Minje Jang, Sunghyun Kim+2 more|arXiv (Cornell University)|Mar 14, 2016

Game Theory and Voting Systems参考文献 29被引用数 18

ひとこと要約

本稿は、Bradley-Terry-Luceモデル下で順位付けのためのペアワイズ比較から、スペクトル順位付け（Rank Centrality）が最小最大最適なサンプル複雑度を達成することを確立している。ランダムな比較モデルにおいて十分なサンプリングが行われる場合、追加の最尤推定の精錬を施さずに、スペクトル手法そのものが最適に上位$K$のアイテムを特定できることを示しており、上位$K$順位付けにおけるスペクトル手法の最適性という長年の未解決問題を解決した。

ABSTRACT

We explore the top-$K$ rank aggregation problem. Suppose a collection of items is compared in pairs repeatedly, and we aim to recover a consistent ordering that focuses on the top-$K$ ranked items based on partially revealed preference information. We investigate the Bradley-Terry-Luce model in which one ranks items according to their perceived utilities modeled as noisy observations of their underlying true utilities. Our main contributions are two-fold. First, in a general comparison model where item pairs to compare are given a priori, we attain an upper and lower bound on the sample size for reliable recovery of the top-$K$ ranked items. Second, more importantly, extending the result to a random comparison model where item pairs to compare are chosen independently with some probability, we show that in slightly restricted regimes, the gap between the derived bounds reduces to a constant factor, hence reveals that a spectral method can achieve the minimax optimality on the (order-wise) sample size required for top-$K$ ranking. That is to say, we demonstrate a spectral method alone to be sufficient to achieve the optimality and advantageous in terms of computational complexity, as it does not require an additional stage of maximum likelihood estimation that a state-of-the-art scheme employs to achieve the optimality. We corroborate our main results by numerical experiments.

研究の動機と目的

• ペアワイズ比較からの信頼性のある上位$K$順位付けに必要な根本的なサンプル複雑度を特定すること。
• スペクトル順位付け手法が、追加の推定段階を必要とせずに上位$K$回復において最小最大最適性を達成できるかどうかを同定すること。
• 決定論的および確率的比較モデルの両方において、サンプルサイズの上界と下界のギャップを分析すること。
• スペクトル手法が、特に確率的比較の枠組みにおいて、単独で最適なサンプル複雑度を達成する条件を確立すること。
• 上位$K$回復性能の正確な特徴付けを可能にする、スペクトル推定量のタイトな$\ell_\infty$誤差バインディングを提供すること。

提案手法

• 決定論的比較モデルにおいて、スペクトル順位付け（Rank Centrality）を用いた上位$K$回復のためのサンプルサイズの上界と下界を導出する。
• 各ペアが確率$p$で独立にサンプリングされる確率的比較モデルを分析し、最適な性能を達成するための$p$および1ペアあたりの比較回数$L$の条件を導出する。
• Bernstein不等式と集中不等式を用いて、各アイテムの次数と遷移行列のスペクトルノルムを制御する。
• スペクトル推定量$\hat{w}$の$\ell_\infty$誤差バインディングを用い、推定精度と上位$K$回復性能との関係を関連付ける。
• 導出されたバインディングを最小最大下界と比較し、$p \gtrsim \sqrt{\frac{\log n}{n}}$のとき、スペクトル順位付けがオーダー最適なサンプル複雑度を達成することを示す。
• スペクトル手法そのものが最適性を達成できることを示し、先行研究の最良手法で用いられる別個の最尤推定精錬段階の必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル順位付けが、上位$K$順位付けにおいて最小最大最適なサンプル複雑度を達成する条件は何か？
• RQ2 追加の最尤推定に依存せずに、スペクトル手法が単独で最適な上位$K$回復を達成できるか？
• RQ3 上位$K$回復のためのサンプルサイズの上界と下界は、$n$、$K$、およびアイテムの価値差$\Delta_K$とどのようにスケーリングされるか？
• RQ4 比較グラフのスパarsityとアイテムの次数のバランスが、スペクトル順位付けの最適性に果たす役割は何か？
• RQ5 上位$K$特定の文脈において、スペクトル推定量の$\ell_\infty$誤差バインディングはどれほどタイトか？

主な発見

• 決定論的比較モデルにおいて、本稿は定数要因を除いて一致する上界と下界をサンプルサイズについて導出し、アイテムの次数が適切にバランスされている場合、スペクトル順位付けがオーダー最適であることを示している。
• 確率的比較モデルにおいて$p \gtrsim \sqrt{\frac{\log n}{n}}$のとき、上界と下界のギャップは定数要因にまで縮小され、スペクトル順位付けがサンプル複雑度において最小最大最適性を達成することを証明した。
• スペクトル推定量の$\ell_\infty$誤差は、$\frac{\|w - \hat{w}\|_\infty}{\|w\|_\infty} \lesssim \sqrt{\frac{\log n}{npL}}$を満たし、必要なサンプルサイズのタイトな特徴付けを可能にする。
• 1ペアあたりの比較回数は$L \gtrsim \frac{\log n}{np}$で十分であり、確率的モデル下で最小最大下界と定数要因を除いて一致する。
• スペクトル手法そのものが最適な性能を達成でき、先行の最適手法で用いられる別個のMLE精錬ステップの必要性が排除され、計算上の利点を提供する。
• 数値実験により理論的予測が裏付けられ、バインディングのタイトさと上位$K$回復におけるスペクトル順位付けの最適性が確認された。