[論文レビュー] Iterative Expectation for Multi Period Information Retrieval

Marc Sloan, Jun Wang|arXiv (Cornell University)|Mar 21, 2013

Algorithms and Data Compression参考文献 28被引用数 4

ひとこと要約

本稿では、ユーザーのクリックフィードバックを時間経過とともに動的に文書の関連性に関する信念を更新するための確率的最適化フレームワークを提案する。ランク付けを確率的制御プロセスとしてモデル化し、クリックモデルをマルチアームド・バンディット枠組みに統合することで、ランクバイアスを扱い、適応的探索を可能にし、長期的なユーザ満足度を向上させる。実世界の検索ログを用いた実験により、優れた性能を示した。

ABSTRACT

Many Information Retrieval (IR) models make use of offline statistical techniques to score documents for ranking over a single period, rather than use an online, dynamic system that is responsive to users over time. In this paper, we explicitly formulate a general Multi Period Information Retrieval problem, where we consider retrieval as a stochastic yet controllable process. The ranking action during the process continuously controls the retrieval system's dynamics, and an optimal ranking policy is found in order to maximise the overall users' satisfaction over the multiple periods as much as possible. Our derivations show interesting properties about how the posterior probability of the documents relevancy evolves from users feedbacks through clicks, and provides a plug-in framework for incorporating different click models. Based on the Multi-Armed Bandit theory, we propose a simple implementation of our framework using a dynamic ranking rule that takes rank bias and exploration of documents into account. We use TREC data to learn a suitable exploration parameter for our model, and then analyse its performance and a number of variants using a search log data set; the experiments suggest an ability to explore document relevance dynamically over time using user feedback in a way that can handle rank bias.

研究の動機と目的

• 静的かつ一回限りの評価に依存するオフラインIRモデルの限界を克服し、文書ランク付けのための動的でオンライン学習可能なフレームワークを提案すること。
• ユーザーのフィードバック（クリック）が複数の時間期間にわたり文書の関連性に関する信念を継続的に更新する、情報検索を確率的制御プロセスとしてモデル化すること。
• さまざまなクリックモデルを統合でき、ランクバイアスと関連性の発見のバランスを取るための適応的探索を可能にする、柔軟でプラグイン型のフレームワークを開発すること。
• 実際の検索ログデータを用いた現実的状況でのフレームワークの性能を評価し、既存のクリックデータから学習でき、新規文書に対応できることを示すこと。
• 過去のクリックデータからの学習、文書特徴の統合、類似度に基づく関連性伝搬による収束速度の向上といった拡張を検討すること。

提案手法

• システムの状態として文書関連性の事後確率を用い、ユーザーのフィードバックから反復的に更新される多期間IRを最適制御問題として定式化する。
• 過去のランク決定と観測されたクリックに基づき、文書関連性に関する信念がどのように進化するかをモデル化する動的関数を導出する。
• マルチアームド・バンディット理論に基づく動的ランク付けルールを導入し、ランクバイアスと探索・活用のトレードオフを明示的に扱う。
• 異なるクリックモデル（例：従属クリック、検査仮説）を信念更新メカニズムに統合できるプラグインアーキテクチャを採用する。
• TRECの関連性判断を用いて探索パラメータをチューニングし、Yandex関連性予測チャレンジデータセットで性能を検証する。
• 歴史的クリックログからの学習を可能にするようフレームワークを拡張し、文書類似度を用いた関連性信念の伝搬により、新規文書の動的統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 クリックフィードバックのみを用いて、複数の検索期間にわたり文書関連性をどのように動的に更新できるか？
• RQ2 ランクバイアスは、逐次的検索システムにおける事後関連性確率の進化にどのように影響するか？
• RQ3 バンディットベースのランク付けポリシーは、多期間IR設定において探索と活用を効果的にバランスできるか？
• RQ4 異なるクリックモデルは、実世界のログデータにおける反復的期待値フレームワークの性能にどのように影響するか？
• RQ5 このフレームワークは、既存のクリックログからどれほど学習でき、新たに導入された文書に対応できるか？

主な発見

• 従属クリックモデルが他のモデルを上回り、上限に最も近い結果を達成した。これは、データに対して強い適合性を示している。
• モデルの「事前」バージョンは、それに対応するバージョンよりわずかに性能が低かった。これは、システムが時間経過とともに新規文書の関連性を効果的に学習できることを示唆している。
• 歴史的クリックデータを用いたトレーニングフェーズを導入することで、性能が著しく向上した。これは、モデルが既存のログから学習できることを示している。
• 即時のクリックに注目するマイトロピックポリシー（短視眼的ポリシー）が、探索的ポリシーを上回った。これは、実際の状況において、探索とランクバイアスのバランスを取るのが難しいことを示している。
• フレームワークは実世界の検索ログから効果的に学習でき、関連性判断が事前に与えられていない状況でも、新規文書の処理に対して頑健であった。
• モデルの柔軟性のおかげで、複数のクリックモデルの統合と効果的なパrameterチューニングが可能となり、初期化に過去データを使用することで性能向上が確認された。