[論文レビュー] Active Ranking using Pairwise Comparisons

Kevin Jamieson, Robert D. Nowak|arXiv (Cornell University)|Sep 16, 2011

Data Management and Algorithms被引用数 86

ひとこと要約

本稿では、$ d $ 次元ユークリッド空間に埋め込まれた $ n $ 個のオブジェクトの順序付けを、ランダムな比較選択に比べて著しく少ない $ \binom{n}{2} $ よりも少ない平均 $ O(d \log n) $ のクエリで特定する、アドホックな順序付けアルゴリズムを提案する。この手法は幾何的構造を活用して近似的に最適なクエリ効率を達成し、比較のノイズにも頑健である。

ABSTRACT

This paper examines the problem of ranking a collection of objects using pairwise comparisons (rankings of two objects). In general, the ranking of $n$ objects can be identified by standard sorting methods using $n log_2 n$ pairwise comparisons. We are interested in natural situations in which relationships among the objects may allow for ranking using far fewer pairwise comparisons. Specifically, we assume that the objects can be embedded into a $d$-dimensional Euclidean space and that the rankings reflect their relative distances from a common reference point in $R^d$. We show that under this assumption the number of possible rankings grows like $n^{2d}$ and demonstrate an algorithm that can identify a randomly selected ranking using just slightly more than $d log n$ adaptively selected pairwise comparisons, on average. If instead the comparisons are chosen at random, then almost all pairwise comparisons must be made in order to identify any ranking. In addition, we propose a robust, error-tolerant algorithm that only requires that the pairwise comparisons are probably correct. Experimental studies with synthetic and real datasets support the conclusions of our theoretical analysis.

研究の動機と目的

• オブジェクトが $ d $ 次元空間に埋め込まれている場合の幾何的構造を活用することで、$ n $ 個のオブジェクトの順序付けに必要な二項比較の数を減らす。
• 適応的比較選択が、ランダム選択に比べてはるかに少ない $ O(d\log n) $ のクエリで順序付けを学習可能であることを示す。
• 一貫した誤差を持つ二項比較に耐えられる、低クエリ複雑性を維持する頑健なアルゴリズムを開発する。
• 合成データおよび既知の低次元埋め込みを持つ実際の音声データセットを用いて、理論的結果を実証的に検証する。

提案手法

• オブジェクトが $ \mathbb{R}^d $ に埋め込まれており、順序付けが共通の基準点からの距離を反映していると仮定し、可能な順序付けの空間を $ O(n^{2d}) $ に制限する。
• 現在の不確実性に基づいて最も情報量の多い二項比較を選択する、適応的で逐次的なクエリ戦略を用いる。
• 幾何的整合性モデルを採用し、ある基準 $ r \in \mathbb{R}^d $ に対して $ \|\theta_i - r\| < \|\theta_j - r\| $ ならば $ \theta_i \prec \theta_j $ と定義する。
• 誤差耐性のため、二項応答を誤差確率 $ p $ を持つノイズ付きとしてモデル化し、誤差伝搬を最小化する頑健なアルゴリズムを用いる。
• 類似度データから埋め込みを回復可能にする非メトリック多次元スケーリングを適用し、実世界の状況でも比較ベースの順序付けを可能にする。
• クエリ予算 $ R = \Theta((1-2p)^{-2} \log n) $ に基づく停止基準を適用し、真の順序付けが高確率で回復されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトが $ \mathbb{R}^d $ に埋め込まれている場合、アクティブで適応的な二項比較選択により、$ \binom{n}{2} $ から $ O(d\log n) $ にクエリ数を削減できるか？
• RQ2 幾何的構造下での順序付けのクエリ複雑度の根本的限界は何か？ そして、それが実際の状況でも達成可能か？
• RQ3 一貫したノイズのある二項比較下で、アクティブ順序付けの性能はどのように劣化するか？
• RQ4 小さな全比較数の一部しか使用しない頑健なアルゴリズムが、近似的に最適な正確性で順序付けを回復できるか？

主な発見

• $ d $ 次元埋め込みと整合する順序付けの数は $ n^{2d} $ のオーダーで増加するため、順序付けを特定するには $ O(d\log n) $ ビットの情報量で十分である。
• 適応的アルゴリズムは、平均的にわずかに $ d\log n $ を超える二項比較で、ランダムに選択された順序付けを特定でき、近似的に最適なクエリ効率を達成する。
• ランダムな比較選択では、任意の順序付けを特定するにはほぼすべての $ \binom{n}{2} $ の比較が必要であり、アクティブ選択の優位性が顕著に現れる。
• 恒常的誤差（$ P(Y_{i,j} \neq y_{i,j}) = p $）が存在する場合、頑健なアルゴリズムは平均的に $ O(d(1-2p)^{-2}\log n / n) \binom{n}{2} $ の期待 Kendall-Tau 誤差を達成し、$ O(d(1-2p)^{-2}\log^2 n) $ のクエリ数を平均で使用する。
• 合成データおよび音声データセットにおける実証的結果から、クエリ数が理論的下界の2倍を超えることはなく、理論的予測が確認された。
• $ d=2 $ および $ d=3 $ の場合、頑健なアルゴリズムは平均で全比較の14.5%および18.5%のクエリ数で済ませながら、最良の埋め込みベース順序付けからの誤差は0.07以内に保った。