[論文レビュー] Simple, Robust and Optimal Ranking from Pairwise Comparisons

Nihar B. Shah, Martin J. Wainwright|arXiv (Cornell University)|Dec 30, 2015

Data Management and Algorithms参考文献 41被引用数 72

ひとこと要約

本稿では、ペアワイズ比較からアイテムをランク付けするための単純で頑健かつ最適な手法であるコペランドカウント法を提案する。この手法はアイテムごとの勝利数に基づいてランク付けを行い、パrametricな仮定を必要とせず、情報理論的最適性を達成する。さまざまなデータ分布において、先行手法を上回る速度と正確性を示す。

ABSTRACT

We consider data in the form of pairwise comparisons of n items, with the goal of precisely identifying the top k items for some value of k < n, or alternatively, recovering a ranking of all the items. We analyze the Copeland counting algorithm that ranks the items in order of the number of pairwise comparisons won, and show it has three attractive features: (a) its computational efficiency leads to speed-ups of several orders of magnitude in computation time as compared to prior work; (b) it is robust in that theoretical guarantees impose no conditions on the underlying matrix of pairwise-comparison probabilities, in contrast to some prior work that applies only to the BTL parametric model; and (c) it is an optimal method up to constant factors, meaning that it achieves the information-theoretic limits for recovering the top k-subset. We extend our results to obtain sharp guarantees for approximate recovery under the Hamming distortion metric, and more generally, to any arbitrary error requirement that satisfies a simple and natural monotonicity condition.

研究の動機と目的

• データ生成過程に最小限の仮定を置くことにより、ノイズのあるペアワイズ比較からトップ-kアイテムを特定するランク付け手法を開発すること。
• 一般のペアワイズ比較モデル下でのトップ-kアイテムの正確および近似回復に関する理論的保証を確立すること。
• ボルト・トレーディング・モデル（BTL）のようなパrametricモデルを必要とせず、単純なカウントベースのアプローチが情報理論的最適性を達成できることを示すこと。
• 本手法が、非BTL設定においても先行手法が失敗するようなさまざまなデータ分布において、計算的に効率的かつ頑健であることの実証。
• 単調性を満たす一般の誤差指標にまで理論的境界を拡張すること。これにはハミング歪みや任意の回復要件が含まれる。

提案手法

• コペランドカウント法は、各アイテムが何回のペアワイズ比較で勝利したかを単純に数えることでアイテムをランク付けする。
• 理論的分析では、2つの比較行列の間の新規なカップリング論法を用いて、信頼性のある回復に必要な最小サンプル数（サンプル複雑度）の下界を導出する。
• パrametric的仮定や確率的推移性の仮定を一切設けず、ペアワイズ比較確率のみに依存する一般モデル下で分析を行う。
• 重要な技術的要素として、わずかに摂動を加えた比較行列から誘導される2つの確率測度間の全 Variation 距離をバウンドする補題4が存在する。
• 分析により、コペランド法が定数倍の要因を除いて最適なサンプル複雑度を達成することが示され、情報理論的下界と一致する。
• この枠組みは、単調性条件を満たす任意の誤差指標に一般化可能であり、ハミング歪みやその他の回復基準に対する境界を導出可能である。

実験結果

リサーチクエスチョン

• RQ1 パrametricな仮定を必要とせず、単純なカウントベースの手法がペアワイズ比較からのトップ-kランク付けで最適性能を達成できるか？
• RQ2 データがBTLモデルに従わない場合、コペランドカウント法のサンプル複雑度と頑健性はどのように振る舞うか？
• RQ3 一般のペアワイズ比較モデル下でのトップ-kアイテムの正確および近似回復の情報理論的限界は何か？
• RQ4 ハミング歪みのような一般誤差指標に対しても、トップ-k回復の理論的保証を拡張できるか？
• RQ5 実際の応用において、コペランド法の計算効率はスペクトルMLEやパrametricな代替手法と比べてどの程度優れているか？

主な発見

• コペランドカウント法は、定数倍の要因を除いて、トップ-k回復において情報理論的最適性を達成し、本稿で導出された下界と一致する。
• この手法は頑健であり、下位のペアワイズ比較確率に関する仮定を一切必要とせず、確率的推移性やBTLモデルへの適合性も不要である。
• Spectral MLEのような先行手法よりも、正確性と計算時間の両面で優れている。特に、パrametricモデルから逸脱したデータに対して顕著に優位である。
• 実験的評価では、コペランド法は先行手法と比較して数個のオーダーも高速でありながら、正確性を維持または向上させている。
• 理論的保証は、ハミング歪みや自然な単調性条件を満たす任意の誤差指標に対する近似回復にも拡張可能である。
• 補題4を用いた新規なカップリング論法により、特定の摂動下ではいかなる推定器でもトップ-k集合を信頼性高く回復できないことが示され、導出された境界のタイトさが証明された。