[論文レビュー] Online Learning to Rank in Stochastic Click Models

Masrour Zoghi, Tomáš Tunys+4 more|arXiv (Cornell University)|Mar 7, 2017

Advanced Bandit Algorithms Research参考文献 22被引用数 41

ひとこと要約

この論文は、カスケードモデルやポジションベースモデルを含む広範な確率的クリックモデルに適用可能な、最初のオンライン学習ランキングアルゴリズムであるBatchRankを紹介する。ギャップに依存するレギュレートバウンドを提供し、Web検索クエリ全体にわたって、既存の手法（ランクバンドイットやCascadeKL-UCB）と比較して、耐性とパフォーマンスの両面で優れていることが実証された。

ABSTRACT

Online learning to rank is a core problem in information retrieval and machine learning. Many provably efficient algorithms have been recently proposed for this problem in specific click models. The click model is a model of how the user interacts with a list of documents. Though these results are significant, their impact on practice is limited, because all proposed algorithms are designed for specific click models and lack convergence guarantees in other models. In this work, we propose BatchRank, the first online learning to rank algorithm for a broad class of click models. The class encompasses two most fundamental click models, the cascade and position-based models. We derive a gap-dependent upper bound on the $T$-step regret of BatchRank and evaluate it on a range of web search queries. We observe that BatchRank outperforms ranked bandits and is more robust than CascadeKL-UCB, an existing algorithm for the cascade model.

研究の動機と目的

• 多様なクリックモデルにわたる一般化可能なオンライン学習ランキングアルゴリズムの欠如に対処すること。
• カスケードモデルやポジションベースモデルといった基本的なクリックモデルに共通して適用可能な統一されたアルゴリズムの開発。
• 提案されたアルゴリズムのモデルギャップに基づく理論的レギュレート保証の提供。
• 実世界のWeb検索クエリにおけるアルゴリズムのパフォーマンスと耐性の評価。

提案手法

• BatchRankは、カスケードモデルやポジションベースモデルを含む広範な確率的クリックモデルを想定している。
• アルゴリズムはバッチ更新メカニズムを用いて、オンライン学習におけるサンプル効率と安定性を向上させる。
• Tステップにおける性能を定量化するギャップに依存するレギュレート上界を導出する。
• ユーザーのクリックフィードバックを活用して、リアルタイムで文書順序を反復的に更新する。
• 理論的分析により、クリック行動に関するやや緩い仮定のもとで収束性とレギュレートバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 1つのオンライン学習ランキングアルゴリズムが、複数の基本的クリックモデルに効果的に適用可能か？
• RQ2 このような汎用アルゴリズムに対して、どのような理論的レギュレートバウンドを導出できるか？
• RQ3 実際の応用において、このアルゴリズムは既存のモデル特化型手法と比較してどの程度のパフォーマンスを示すか？
• RQ4 異なるクリックモデルの仮定のもとで、このアルゴリズムは従来のアプローチよりもより耐性があるか？

主な発見

• BatchRankは、Tステップにおけるギャップに依存するレギュレートバウンドを達成し、収束に対する理論的根拠を提供する。
• 実証的評価により、BatchRankは複数のWeb検索クエリにおいて、ランクバンドイットを上回る順序付けの質を達成している。
• CascadeKL-UCB（カスケードモデル専用の既存アルゴリズム）と比較して、BatchRankはより高い耐性を示している。
• 従来の手法が1つのモデルに制限されるのに対し、BatchRankはカスケードモデルとポジションベースモデルの両方に対して効果的に一般化している。