[論文レビュー] Ranking with Features: Algorithm and A Graph Theoretic Analysis

Aadirupa Saha, Arun Rajkumar|arXiv (Cornell University)|Aug 11, 2018

Data Management and Algorithms被引用数 3

ひとこと要約

本稿では、アイテム特徴を活用してペairwise比較からの順序付けを改善するための特徴付きBradley-Terry-Luce（f-BTL）モデルとfBTL-LSアルゴリズムを導入する。特徴表現を介した依存関係のモデリングにより、サンプル複雑度がO(α log α)に低下し、標準的なBTLモデルのO(n log n)の境界よりも顕著に低い。

ABSTRACT

We consider the problem of ranking a set of items from pairwise comparisons in the presence of features associated with the items. Recent works have established that $O(n\log(n))$ samples are needed to rank well when there is no feature information present. However, this might be sub-optimal in the presence of associated features. We introduce a new probabilistic preference model called feature-Bradley-Terry-Luce (f-BTL) model that generalizes the standard BTL model to incorporate feature information. We present a new least squares based algorithm called fBTL-LS which we show requires much lesser than $O(n\log(n))$ pairs to obtain a good ranking -- precisely our new sample complexity bound is of $O(α\log α)$, where $α$ denotes the number of `independent items' of the set, in general $α<< n$. Our analysis is novel and makes use of tools from classical graph matching theory to provide tighter bounds that sheds light on the true complexity of the ranking problem, capturing the item dependencies in terms of their feature representations. This was not possible with earlier matrix completion based tools used for this problem. We also prove an information theoretic lower bound on the required sample complexity for recovering the underlying ranking, which essentially shows the tightness of our proposed algorithms. The efficacy of our proposed algorithms are validated through extensive experimental evaluations on a variety of synthetic and real world datasets.

研究の動機と目的

• アイテム特徴が利用可能な状況で、O(n log n)のペアワイズ比較を必要とする従来の順序付け手法の非効率性を是正すること。
• アイテムの特徴表現を通じてアイテム間の依存関係を捉える方法で、好み関係をモデリングすること。
• 特徴情報を利用することで、より良いサンプル複雑度を達成する新しいアルゴリズムを開発すること。
• グラフマッチング理論を用いて、向上したサンプル複雑度の理論的基盤を提供すること。
• 提案手法の最適性を検証するため、タイトな情報理論的下界を確立すること。

提案手法

• 標準的なBTLモデルの一般化として、アイテム特徴を組み込む特徴付きBradley-Terry-Luce（f-BTL）モデルを提案する。
• 特徴情報を利用し、好みスコアを推定するための最小二乗法に基づくfBTL-LSアルゴリズムを開発する。
• 古典的グラフマッチング理論のツールを適用し、サンプル複雑度のよりタイトな境界を導出する。
• アイテムの特徴構造に基づいて、真の順序付け問題の複雑度を特徴付ける「独立アイテム数」(α)の概念を用いる。
• サンプル複雑度の境界をO(α log α)として導出し、ここでα ≪ nであり、全アイテム数に依存する度合いが小さくなることを示す。
• 提案されたサンプル複雑度のタイトさを確認するため、情報理論的下界を証明する。

実験結果

リサーチクエスチョン

• RQ1 アイテム特徴を組み込むことで、正確な順序付けに必要なペアワイズ比較の数を削減できるか？
• RQ2 アイテム特徴の構造が、順序付けアルゴリズムのサンプル複雑度にどのように影響するか？
• RQ3 グラフマッチング理論は、行列補完法よりも好み学習においてよりタイトな境界を提供できるか？
• RQ4 特徴情報が存在する状況で、提案されたfBTL-LSアルゴリズムはサンプル最適か？
• RQ5 特徴拡張順序付けにおける、根本的な限界（下界）は何か？

主な発見

• fBTL-LSアルゴリズムは、独立アイテム数αを用いてO(α log α)のサンプル複雑度を達成し、標準モデルのO(n log n)と比較して顕著に要件を低減する。
• グラフマッチング理論の活用により、アイテムの依存関係を特徴表現を通じて捉えるよりタイトな境界が可能となり、従来の行列補完に基づくアプローチとは異なり、そのような依存関係を効果的に表現できる。
• 特徴構造を効果的に活用するため、特にα ≪ nの場合に顕著なサンプル効率の向上を示す。
• 情報理論的下界が確立され、O(α log α)のサンプル複雑度が漸近的にタイトであることが示された。
• 合成データおよび実世界データセットを用いた広範な実験により、fBTL-LSの優れた性能と多様な設定におけるロバスト性が検証された。