[論文レビュー] Query Chains: Learning to Rank from Implicit Feedback

Filip Radlinski, Thorsten Joachims|ArXiv.org|May 8, 2006

Advanced Database Systems and Queries参考文献 20被引用数 29

ひとこと要約

この論文では、検索エンジンのログから暗黙のフィードバックを活用して、ユーザーのクエリとクリックのシーケンスを用いて順位付けの検索関数を学習する方法であるQuery Chainsを提案する。クエリチェーンを検出し、セッション内のドキュメント間で相対的な関連性判断を推定することで、静的または独立して学習されたモデルよりも順位付け性能が向上することが、実世界の検索エンジン（Osmot）とユーザースタディで検証された。

ABSTRACT

This paper presents a novel approach for using clickthrough data to learn ranked retrieval functions for web search results. We observe that users searching the web often perform a sequence, or chain, of queries with a similar information need. Using query chains, we generate new types of preference judgments from search engine logs, thus taking advantage of user intelligence in reformulating queries. To validate our method we perform a controlled user study comparing generated preference judgments to explicit relevance judgments. We also implemented a real-world search engine to test our approach, using a modified ranking SVM to learn an improved ranking function from preference data. Our results demonstrate significant improvements in the ranking given by the search engine. The learned rankings outperform both a static ranking function, as well as one trained without considering query chains.

研究の動機と目的

• 明示的な関連性フィードバックが限られている状況において、効果的な順位付け関数を学ぶという課題に取り組む。
• 検索セッションにおけるユーザーのクエリ再定式化パターンを活用することで、独立したクエリ処理の限界を克服する。
• クリックスルーログからの暗黙のフィードバックを活用して、複数のクエリとドキュメント間で順序判断を生成する。
• ドキュメントのテキストにそのキーワードが共起しない場合でも、クエリ語とドキュメントの関連性を学習できるより一般的な順位付けモデルを開発する。
• 本手法の有効性を実世界の検索システムで示し、制御されたユーザースタディを用いて順序判断の品質を検証する。

提案手法

• 検索エンジンのログから、関連するクエリのシーケンスと関連するクリックスルーを特定することで、クエリチェーンを検出する。
• チェーン内のクエリ間でドキュメントの関連性を比較することで順序判断を生成し、後続のクエリが以前のクエリを洗練または是正していると仮定する。
• これらの推定された順序判断から順位付け関数を学習するため、変更を加えたランクSVMを用いる。
• キーワードがドキュメントのテキストに同時に現れない場合でも、クエリ語とドキュメントの関連性をモデルが学習できるようにする。
• コーン大学の実世界のWeb検索システム（Osmot）にこの手法を適用し、性能向上を評価する。
• 制御されたユーザースタディを用いて、推定された順序判断の品質を、明示的な関連性判断と比較して検証する。

実験結果

リサーチクエスチョン

• RQ1 検索セッションにおけるユーザーのクエリのシーケンス（クエリチェーン）は、ログデータから信頼性を持って検出可能か？
• RQ2 クエリチェーンから推定された順序判断は、順位付け関数を学習するための有効で有用なシグナルを提供するか？
• RQ3 これらの推定された順序判断に基づいて学習した学習-順位付けモデルは、独立したクエリや静的順位付けに基づいて学習したモデルを上回る性能を示すか？
• RQ4 モデルは、元々トップ結果に含まれていなかったドキュメントをどの程度正しく検索できるか？
• RQ5 クリックスパムや曖昧なクエリ語など、ノイズに対してこの手法はどの程度頑健か？

主な発見

• 本手法は、実世界の検索ログからクエリチェーンを効果的に検出でき、スペルの訂正やクエリの洗練といったパターンが明らかになった。
• 制御されたユーザースタディを通じて、クエリチェーンから推定された順序判断が信頼できることが検証され、明示的な関連性判断と強い一致を示した。
• クエリチェーンデータに基づいて学習させたOsmot検索エンジンは、静的順位付け関数およびクエリチェーン情報を使用しないモデルよりも顕著に優れた性能を示した。
• 学習されたモデルは、元の結果に含まれていなかった関連ドキュメントを効果的に検索できた。例えば、「ndlf」の検索において、「National Digital Library Foundation」と類似する結果を返すようになった。
• ユーザー行動の変化に応じて、以前はトップにランクされた無関係なドキュメント（例：「instruction」に関する文書）をモデルが順位を下げることを学習した。
• 本手法は、キーワードがドキュメントのテキストに存在しない場合でも、クエリ語とドキュメントの関連性を学習できる一般的な順位付け関数を学習できることを示した。