[論文レビュー] A Hierarchical Recurrent Encoder-Decoder For Generative Context-Aware Query Suggestion

Alessandro Sordoni, Yoshua Bengio+4 more|arXiv (Cornell University)|Jul 8, 2015

Topic Modeling参考文献 36被引用数 4

ひとこと要約

本稿では、可変長クエリ系列を処理し、希少または長テールクエリのための合成的提案を生成する、生成的で文脈に配慮したクエリ提案のための階層的再帰的エンコーダーデコーダー・モデルを提案する。単語レベルの埋め込みとシーケンスモデリングを活用することで、エンドツーエンドの学習と効率的なデコードを経て、次のクエリ予測において既存の文脈に配慮した手法を上回り、高品質で多様な提案を生成する。

ABSTRACT

Users may strive to formulate an adequate textual query for their information need. Search engines assist the users by presenting query suggestions. To preserve the original search intent, suggestions should be context-aware and account for the previous queries issued by the user. Achieving context awareness is challenging due to data sparsity. We present a probabilistic suggestion model that is able to account for sequences of previous queries of arbitrary lengths. Our novel hierarchical recurrent encoder-decoder architecture allows the model to be sensitive to the order of queries in the context while avoiding data sparsity. Additionally, our model can suggest for rare, or long-tail, queries. The produced suggestions are synthetic and are sampled one word at a time, using computationally cheap decoding techniques. This is in contrast to current synthetic suggestion models relying upon machine learning pipelines and hand-engineered feature sets. Results show that it outperforms existing context-aware approaches in a next query prediction setting. In addition to query suggestion, our model is general enough to be used in a variety of other applications.

研究の動機と目的

• 特に希少または長テールクエリに対して、文脈に配慮したクエリ提案におけるデータスパarsityの課題に対処すること。
• トレーニングデータに存在しない合成的クエリ提案の生成を可能とし、共起に基づく手法の範囲を超えたカバレッジの向上を図ること。
• ユーザーのクエリセッションを順序付きの文脈としてモデル化することで、再定式化のパターンを保持し、提案の関連性を向上させること。
• 可変長のクエリ履歴に強く、過去のクエリの順序に敏感なニューラルアーキテクチャの開発。
• 標準的なデコード手法を用いて効率的かつスケーラブルな推論を実現しつつ、高品質で文脈に基づいた提案を維持すること。

提案手法

• クエリのシーケンスをモデル化するための2段階の階層的再帰的エンコーダーデコーダー・アーキテクチャ（単語レベルとクエリレベルのRNN）を採用する。
• 単語埋め込みとクエリ埋め込みを用いて意味的関係を捉え、埋め込み空間における類似語や類似クエリのクラスタリングを可能にする。
• 観測されたクエリセッションの尤度を最大化することでエンドツーエンドの学習を実施し、文脈表現と生成の両方を統合最適化可能にする。
• 自己回帰的デコードにより提案を生成し、過去の全クエリ履歴に条件づけた1単語ずつのサンプリングを実行する。
• 文脈内の単語間で統計的重みを共有することでデータスパarsityを軽減し、クエリ系列を分散表現として扱う。
• 完了を示す特別な「クエリ終了トークン」を導入し、生成された単語系列から最終的な提案を構築する。

実験結果

リサーチクエスチョン

• RQ1 可変長クエリセッションからの長期的文脈を神経的シーケンスモデルが効果的に捉えることで、次のクエリ予測が向上するか？
• RQ2 トレーニングデータの共起に依存せずに、生成的モデルが希少または未観測クエリに対して高品質な合成的提案をどれほど効果的に生成できるか？
• RQ3 カウントベースや特徴工学的モデルと比較して、階層的RNNアーキテクチャは長テールクエリにおけるカバレッジと関連性の面でどの程度優れているか？
• RQ4 モデルは、ユーザー行動における一般化または特定化のパターンを反映した多様で文脈的に適切な再定式化を生成できるか？
• RQ5 微分可能でエンドツーエンドの学習により、モデルの提案生成能力が検索性能の測定可能な向上をもたらすか？

主な発見

• Mean Reciprocal Rank (MRR) で測定した次のクエリ予測において、提案モデルは既存の文脈に配慮したモデルを上回り、順位付けの質の向上を示した。
• ユーザースタディーにおいて、ベースライン手法と比較して、モデルが生成する合成的提案は、より高い関連性と有用性を認識された。
• 階層的RNNアーキテクチャは、可変長の文脈であっても、長距離依存性やクエリセッション内の再定式化パターンを効果的にモデル化した。
• 学習済み埋め込みにおいてクラスタリング行動を示し、意味的に類似したクエリや語がベクトル空間で近接して配置された。
• 文脈を統計的重みを共有する単語の系列としてモデル化することで、データスパarsityが軽減され、希少クエリへの一般化が良好に実現された。
• モデルは柔軟かつ拡張可能であり、自動補完、言語モデリング、次の単語予測などの他のNLPタスクへの応用が可能である。