[論文レビュー] Ranked bandits in metric spaces: learning optimally diverse rankings over large document collections

Aleksandrs Slivkins, Filip Radlinski+1 more|arXiv (Cornell University)|May 28, 2010

Advanced Bandit Algorithms Research参考文献 26被引用数 12

ひとこと要約

本稿は、メトリック空間による文書類似度統合を用いて、多様で重複のない順序付けを最適化し、クエリ放棄を最小限に抑える、画期的なバンドイット・ラーニング・トゥ・ランクフレームワークを提案する。順位バンドイットとリプシッツバンドイットを、条件付きリプシッツ連続性の概念によって統合することで、理論的裏付けがあり、スケーラブルなアルゴリズムを提示し、大規模な文書コレクションにおいて、先行手法よりも著しく高速に学習を達成する。

ABSTRACT

Most learning to rank research has assumed that the utility of different documents is independent, which results in learned ranking functions that return redundant results. The few approaches that avoid this have rather unsatisfyingly lacked theoretical foundations, or do not scale. We present a learning-to-rank formulation that optimizes the fraction of satisfied users, with several scalable algorithms that explicitly takes document similarity and ranking context into account. Our formulation is a non-trivial common generalization of two multi-armed bandit models from the literature: "ranked bandits" (Radlinski et al., ICML 2008) and "Lipschitz bandits" (Kleinberg et al., STOC 2008). We present theoretical justifications for this approach, as well as a near-optimal algorithm. Our evaluation adds optimizations that improve empirical performance, and shows that our algorithms learn orders of magnitude more quickly than previous approaches.

研究の動機と目的

• オンライン学習において文書類似度を統合することで、ラーニング・トゥ・ランクシステムにおける順序付けの重複問題に対処すること。
• 大規模な文書コレクションにおいて、多様性に配慮した順序付けを通じてクエリ放棄を最小限に抑える理論的裏付けがあり、スケーラブルなアルゴリズムを開発すること。
• 文書類似度下でのユーザークリック行動のモデルとして、条件付きリプシッツ連続性を導入することで、順位バンドイットとリプシッツバンドイットを統合すること。
• 特にメトリック空間における情報検索における、多様性に配慮したオンライン学習の形式的理論的基盤を提供すること。
• 適応的パーティショニングとフィードバックを活用して、文書間の構造的類似性を活用することで、オンライン学習-トゥ-ランクの収束を著しく高速化すること。

提案手法

• 文書類似度を表現するためのメトリック空間を用いた、順位バンドイットとリプシッツバンドイットを統合した新しいバンドイットモデルを提案する。
• クリック確率が以前の文書スキップを条件付けた後でもリプシッツ連続である、条件付きリプシッツ連続性の概念を導入する。
• メタアーム（領域）にメトリック空間を適応的にパーティショニングする近似的最適なアルゴリズムを設計し、高報酬領域を時間とともに精錬する。
• 観測されたフィードバックに基づいて動的にパーティションを精錬する「ズーミング」に類似した戦略を採用し、サンプル効率を向上させる。
• メトリック空間のツリー表現を用い、条件付き確率の境界を適用することで、クリック確率推定値の単調な改善を保証する。
• 条件付きリプシッツ条件を満たす構成的ユーザー行動モデルを用いて、モデルの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 メトリック空間における文書類似度を活用することで、オンライン学習-トゥ-ランクアルゴリズムのサンプル効率を向上させることができるか？
• RQ2 条件付きリプシッツ連続性は、順位付けられた検索結果におけるユーザークリック行動の現実的で取り扱いやすいモデルを提供するか？
• RQ3 メトリック構造を活用するバンドイットアルゴリズムは、類似度に配慮しないベースラインと比較して著しく高速な収束を達成できるか？
• RQ4 大規模な文書コレクションへのスケーラビリティを確保しつつ、レギュレートに関する理論的保証を維持できるか？
• RQ5 結果の多様性を明示的に促進しつつ、クエリ放棄を最小限に抑える学習アルゴリズムを設計することは可能か？

主な発見

• 条件付きリプシッツ連続性に基づく本モデルは、大規模な文書コレクションにスケーラブルな、証明可能な近似的最適なアルゴリズムを提示する。
• 理論的分析により、アルゴリズムが非線形のレギュレートを達成し、メトリック構造を活用することで収束速度が向上することが示された。
• 実験的評価では、特に高次元または大規模な設定において、従来の手法と比較して、アルゴリズムが桁違いに高速に学習を達成することが確認された。
• 条件付きリプシッツ条件を満たすユーザー行動モデルの構築は、モデルの表現力と現実性を強く裏付ける証拠を提供する。
• ズーミング風のパーティショニング戦略は、クリックスルーレートの高い領域を効果的に精錬し、より高速な収束と優れた性能をもたらした。
• 条件付き確率不等式や帰納的証明に基づく理論的結果により、モデル下でクリック確率推定値の単調な改善が正当化された。