[論文レビュー] The Lovasz-Bregman Divergence and connections to rank aggregation, clustering, and web ranking

Rishabh Iyer, Jeff Bilmes|arXiv (Cornell University)|Aug 9, 2014

Bayesian Modeling and Causal Inference参考文献 31被引用数 9

ひとこと要約

本稿では、スコアベクトルとランク付けの間の歪みを測るための新しい発散尺度として、ロヴァーズ・ブレグマン（LB）発散を導入し、ランク集約、クラスタリング、ウェブランク付けの統一的枠組みを可能にする。LB発散がNDCG や AUC といった主要な指標を一般化し、信頼度を考慮した順序付けを可能にするとともに、マラウのモデル や ラーニング・トゥ・ランク のアプローチを包含することを示している。

ABSTRACT

We extend the recently introduced theory of Lovasz-Bregman (LB) divergences (Iyer & Bilmes 2012) in several ways. We show that they represent a distortion between a "score" and an "ordering", thus providing a new view of rank aggregation and order based clustering with interesting connections to web ranking. We show how the LB divergences have a number of properties akin to many permutation based metrics, and in fact have as special cases forms very similar to the Kendall-tau metric. We also show how the LB divergences subsume a number of commonly used ranking measures in information retrieval, like NDCG and AUC. Unlike the traditional permutation based metrics, however, the LB divergence naturally captures a notion of "confidence" in the orderings, thus providing a new representation to applications involving aggregating scores as opposed to just orderings. We show how a number of recently used web ranking models are forms of Lovasz-Bregman rank aggregation and also observe that a natural form of Mallow's model using the LB divergence has been used as conditional ranking models for the "Learning to Rank" problem.

研究の動機と目的

• ランク付けタスクにおけるスコアと順序の間の歪みをモデル化するため、ロヴァーズ・ブレグマン 発散の理論を拡張すること。
• NDCG や AUC のような既存のランク付け指標を、1つの発散枠組みで統一すること。
• 純粋な置換ベースの指標を超えて、ランク付けの信頼度を考慮した表現を提供すること。
• ウェブランク付けおよびクラスタリング分野の既存モデル（マラウのモデル や ラーニング・トゥ・ランク）と LB 発散を結びつけること。
• 理論的および実験的裏付けをもとに、LB 発散が順序ベースのクラスタリングおよびランク集約に応用可能であることを示すこと。

提案手法

• サブモジュラー関数とロヴァーズ拡張を用いて、ブレグマン 発散の一般化としてロヴァーズ・ブレグマン 発散を定義する。
• 実数値スコアベクトルと、それらのスコアをソートして得られる順序付けの間の歪みの尺度として発散を定式化する。
• LB 発散が既知の指標に還元されることを示す：特定のパrameterizationのもとで、ケンダール-tau が特殊ケースとして現れ、NDCG や AUC を包含する。
• 非滑らかで離散的なランク付け関数を取り扱うためにロヴァーズ拡張を用い、ランク付け問題における勾配ベース最適化を可能にする。
• ペアワイズの好みに基づくウェブランク付けモデルや条件付きランク付けモデルが、すべて LB 発散として表現可能であることを示す。
• マラウのモデルを LB 発散を用いて自然に定式化した場合、これはラーニング・トゥ・ランク分野における条件付きランク付けモデルと整合することを示す。

実験結果

リサーチクエスチョン

• RQ1 ロヴァーズ・ブレグマン 発散は、スコアベクトルとその誘導される順序との間の歪みをどのようにモデル化できるか？
• RQ2 ロヴァーズ・ブレグマン 発散は、NDCG や AUC のような既存のランク付け指標をどのように一般化または包含するか？
• RQ3 LB 発散は順序付けに信頼度をどのように組み込み、従来の置換ベースの指標と比べてどのような利点を提供するか？
• RQ4 LB 発散とウェブランク付けおよびラーニング・トゥ・ランク分野の既存モデルとの関係は何か？
• RQ5 LB 発散は、共通の理論的枠組みのもとでランク集約、クラスタリング、ウェブランク付けを統一的に扱えるか？

主な発見

• ロヴァーズ・ブレグマン 発散はケンダール-tau 指標を一般化しており、特定の条件下で後者が特殊ケースとして現れる。
• LB 発散は、NDCG や AUC のような一般的に用いられる情報検索指標を包含し、それらの指標を統一的な数学的枠組みで扱える。
• 発散はスコアを離散的な順序付けではなく連続値として扱うことで、自然にランク付けの信頼度を組み込む。
• ペアワイズの好みに基づくモデルを含む、いくつかの既存のウェブランク付けモデルが、LB 発散の最小化と同等であることが示された。
• マラウのモデルに基づく条件付きランク付けモデルが、LB 発散を用いて定式化した場合、ラーニング・トゥ・ランクの文脈で自然な定式化であることが特定された。
• この枠組みにより、ランク付けをデータポイントとみなして LB 発散を類似度尺度として用いる順序ベースのクラスタリングが可能になった。