[論文レビュー] Adapting to the Shifting Intent of Search Queries

Syed Umar, Aleksandrs Slivkins+1 more|arXiv (Cornell University)|Jul 22, 2010

Advanced Bandit Algorithms Research参考文献 21被引用数 3

ひとこと要約

本論文は、オンライン分類とバンディット学習を組み合わせることで、ユーザーの検索意図の急激な変化を検出し、それに適応するメタアルゴリズム bwc を提案する。意図の変化が検出された際に文脈的シグナルを用いてバンディットの再起動をトリガーすることで、インプレッション数に関して対数的に成長するレグレットを達成し、急激な意図の変化が生じるトラフィック環境下で、先行手法を著しく上回る性能を発揮する。

ABSTRACT

Search engines today present results that are often oblivious to abrupt shifts in intent. For example, the query `independence day' usually refers to a US holiday, but the intent of this query abruptly changed during the release of a major film by that name. While no studies exactly quantify the magnitude of intent-shifting traffic, studies suggest that news events, seasonal topics, pop culture, etc account for 50% of all search queries. This paper shows that the signals a search engine receives can be used to both determine that a shift in intent has happened, as well as find a result that is now more relevant. We present a meta-algorithm that marries a classifier with a bandit algorithm to achieve regret that depends logarithmically on the number of query impressions, under certain assumptions. We provide strong evidence that this regret is close to the best achievable. Finally, via a series of experiments, we demonstrate that our algorithm outperforms prior approaches, particularly as the amount of intent-shifting traffic increases.

研究の動機と目的

• 急激なユーザー意図の変化（例：ニュースの急上昇やバズコンテンツ）に起因する検索エンジンの適応不能性という課題に対処すること。
• ラベルなしの文脈的シグナルとリアルタイムのクリックフィードバックを活用して、ラベル付き学習データを必要とせずに意図の変化を検出する手法を開発すること。
• 意図の変化を検出すると、バンディット学習を動的に再起動することで、より関連性の高い結果に素早く収束するシステムを設計すること。
• 分類器およびバンディット部の弱い仮定のもとで、インプレッション数に関して対数的に成長するレグレットの理論的保証を提供すること。

提案手法

• 文脈的特徴を用いて意図の変化を検出するための、'テスト'段階と'適応'段階を交互に繰り返すメタアルゴリズム bwc を導入する。
• ラベルなしのデータを必要とせず、クエリの文脈（例：検索ボリューム、ニュース露出数、ドキュメントの日付など）に基づいて意図の変化が発生したかどうかを分類器が予測する。
• バンディットアルゴリズム（特に修正されたUCB1の変種）を用いてクリックフィードバックから選択と学習を行い、分類器が変化を予測した場合には再起動する。
• 一貫性チェックを用いて分類器のための合成ラベルを生成する：前後での高信頼度アーム集合が互いに素であれば「偽」（イベントなし）、そうでなければ「真」。
• 一時的な挙動による汚染を避けるために、潜在的イベントの前後で完全な段階（長さL）を要件とする。
• バンディットのレグレットと分類器のFP複雑度を別々に境界化し、それらを組み合わせて総レグレット境界を形式化するモジュラーなフレームワークを定式化する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの文脈的シグナルとクリックフィードバックのみを用いて、検索システムは急激なユーザー意図の変化を検出可能か？
• RQ2 意図の変化が存在する状況下で、インプレッション数に関して対数的に成長するレグレットを達成することは可能か？
• RQ3 分類器とバンディットアルゴリズムを統合することで、標準的なバンディット手法と比較して、適応速度がどのように向上するか？
• RQ4 このような状況下でのレグレットの理論的限界は何か？ また、提案手法は近似的に最適性に達しているか？
• RQ5 このメタアルゴリズムの性能は、分類器が使用するコンセプトクラスの複雑さとイベント数にどのように依存するか？

主な発見

• bwcメタアルゴリズムは、弱い仮定のもとで、$ O((k + d_{\text{FP}})(n/\nabla)\tfrac{1}{\nabla}\text{log }T) $ のレグレット境界を達成し、これは $ T $ に関して対数的であるため、意図の変化に対して強い適応性を示す。
• レグレット境界はイベント数 $ k $、分類器のFP複雑度 $ d_{\text{FP}} $、最小サブオプティマルティ $ \nabla $ に依存しており、分類器の精度とイベント頻度の両方が性能に影響することが示された。
• 下界を確立し、文脈を無視するいかなるバンディットアルゴリズムも $ \tilde{\nabla}(\nabla T) $ のレグレットを被るため、対数的レグレットを達成するには文脈情報が不可欠であることを証明した。
• 対数的レグレットが達成可能であると仮定すると、$ k $ および $ d_{\text{FP}} $ に依存する点で、提案手法はほぼ最適性に達していることが示された。
• 合成実験により、bwcは特に意図の変化が激しいトラフィック環境下で、UCB1などの標準的バンディットアルゴリズムを上回ることが確認された。
• 高信頼度サブオプティマルティ推定を用いたバンディットサブルーチンは、独立した価値を持つことが示され、アルゴリズムのロバストネスと理論的保証に寄与している。