[論文レビュー] Approximate Ranking from Pairwise Comparisons

Reinhard Heckel, Max Simchowitz+2 more|arXiv (Cornell University)|Jan 4, 2018

Machine Learning and Algorithms被引用数 7

ひとこと要約

本稿では、適応的対比較からの信頼区間を用いて、近似的な順位付けを近最適な標本複雑度で回復するアクティブ順位付けアルゴリズムを提案する。近的順位付けが正確な順位付けと比較して必要な比較回数を著しく削減できることを示し、広範な比較モデルのクラスにおいて、情報理論的下界の対数的要因の範囲内で高確率で回復を達成している。

ABSTRACT

A common problem in machine learning is to rank a set of n items based on pairwise comparisons. Here ranking refers to partitioning the items into sets of pre-specified sizes according to their scores, which includes identification of the top-k items as the most prominent special case. The score of a given item is defined as the probability that it beats a randomly chosen other item. Finding an exact ranking typically requires a prohibitively large number of comparisons, but in practice, approximate rankings are often adequate. Accordingly, we study the problem of finding approximate rankings from pairwise comparisons. We analyze an active ranking algorithm that counts the number of comparisons won, and decides whether to stop or which pair of items to compare next, based on confidence intervals computed from the data collected in previous steps. We show that this algorithm succeeds in recovering approximate rankings using a number of comparisons that is close to optimal up to logarithmic factors. We also present numerical results, showing that in practice, approximation can drastically reduce the number of comparisons required to estimate a ranking.

研究の動機と目的

• 正確な順位付けに必要な標本サイズが膨大である場合に、対比較から順位を学習する課題に対処すること。
• 信頼区間に基づいて次に比較するペアを適応的に選択するアクティブラーニングアルゴリズムを開発し、必要な比較回数を最小限に抑えること。
• 近的順位付けに関する理論的保証を確立すること。特に、高確率での回復と標本複雑度における近最適性を含む。
• Bradley-Terry-LuceやStrong Stochastic Transitivityなどの一般的なパラメトリックモデルにおけるアルゴリズムの性能を分析すること。
• アイテムのスコアがほとんど等しいような病理的状況において標準的手法が失敗するケースを探索し、標本効率を向上させるための確率的戦略を提案すること。

提案手法

• アルゴリズムは、各アイテムのボーダスコア（一様にランダムに選ばれた他のアイテムに勝つ確率）の信頼区間を維持する。
• 各ステップで、相対的なスコアの不確実性が最も高いアイテムペアを選んで次に比較する。
• Hoeffdingスタイルの集中不等式を用いて信頼区間を計算し、停止または継続を判断する。
• 信頼区間が事前に指定された集合（例：上位k個のアイテム）への信頼できる分割を可能にするまでアルゴリズムを実行する。
• BTLなどのパラメトリックモデルでは、パrameter空間の構造を活用して推定値を効率的に改善する。
• スコアがほぼ等しい病理的状況では、対称性を破り、標本複雑度を低減するために確率的推測戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 近的順位付けは、正確な順位付けと比較して必要な対比較回数を削減できるか？
• RQ2 一般の比較モデル下で、アクティブ近的順位付けの最適な標本複雑度は何か？
• RQ3 アイテム間のスコアギャップ、特に上位k個の閾値付近でのスケーリングに伴い、アルゴリズムの性能はどのように変化するか？
• RQ4 アイテムのスコアがほぼ等しい病理的分布に対して、アルゴリズムはロバストに動作するか？
• RQ5 アクティブラーニング設定において、近似の精度と標本複雑度のトレードオフは何か？

主な発見

• 提案されたアクティブ順位付けアルゴリズムは、情報理論的下界の対数的要因の範囲内で、近的順位付けの高確率回復を達成する。
• 上位k個の選択問題では、標本複雑度がおよそ ∑_{i=1}^k 1/(τ_i - τ_{k+1})² + ∑_{i=k+1}^n 1/(τ_k - τ_i)² に比例し、対数的要因を除いて上昇する。
• Bradley-Terry-Luce や Strong Stochastic Transitivity などのパラメトリックモデル下でも、アルゴリズムの標本複雑度は近最適である。
• スコアの差が非常に小さい病理的状況では、確率的推測戦略を組み込むことで、アルゴリズムの性能を著しく向上できる。
• 理論的下界と上界が対数的要因の範囲で一致しており、アルゴリズムの標本複雑度が近最適であることが確認された。
• 数値実験の結果、近的順位付けにより、実際の応用で必要な比較回数が著しく削減され、特に正確な順位付けが非現実的である場合に顕著である。