[論文レビュー] LSTM-Based Predictions for Proactive Information Retrieval

Petri Luukkonen, Markus Koskela+1 more|arXiv (Cornell University)|Jun 20, 2016

Topic Modeling参考文献 38被引用数 7

ひとこと要約

本稿では、執筆作業中の能動的情報検索のためのLSTMベースのクエリ拡張手法を提案している。このシステムは、ユーザーのテキスト継続を予測することで、関連する背景情報を事前に検索する。結果として、十分な文脈が得られる場合、LSTMベースの拡張は、ベースラインおよびユーザー意図モデリング手法を上回る精度で探索的検索を改善することが示された。

ABSTRACT

We describe a method for proactive information retrieval targeted at retrieving relevant information during a writing task. In our method, the current task and the needs of the user are estimated, and the potential next steps are unobtrusively predicted based on the user's past actions. We focus on the task of writing, in which the user is coalescing previously collected information into a text. Our proactive system automatically recommends the user relevant background information. The proposed system incorporates text input prediction using a long short-term memory (LSTM) network. We present simulations, which show that the system is able to reach higher precision values in an exploratory search setting compared to both a baseline and a comparison system.

研究の動機と目的

• 執筆作業中にユーザーのニーズを予測し、テキストの継続を予測することで、能動的情報検索システムを開発すること。
• ユーザー入力のLSTMベースの系列モデリングを活用して、探索的検索における検索精度を向上させること。
• 能動的クエリ生成のためのLSTMベースのクエリ拡張とユーザー意図モデリングを比較すること。
• 模擬環境でのシステムの評価を行い、実世界での展開に向けたユーザインタフェースを設計すること。
• 複数のテキストソース（例：ワープロソフト、Webブラウザ）間で文脈抽出を一般化し、より広範な適用性を実現すること。

提案手法

• LSTMネットワークは、現在の入力文脈に基づいてテキスト系列の次の単語を予測するように学習され、ユーザーの執筆経路をモデリングする。
• 予測されたテキスト継続が初期クエリを拡張し、文書検索用の新しい検索語句を生成する。
• クエリ拡張は、探索的検索および既知項目検索の両方のタスクに適用され、異なる検索目的におけるパフォーマンスを評価する。
• 比較用システムは、上位信頼区間（UCB）アルゴリズムを用いてユーザー意図モデリングを行い、語句頻度と文書関連性に基づいてクエリを拡張する。
• システムは、各キーストロークごとに現在のn語分の文脈をストリーミングするカスタムテキストエディタと統合されている。
• 能動的レコメンデーションは、執筆を妨げない周辺型ユーザインタフェースに表示され、ユーザーが提案された文書にアクセスできる。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースのテキスト予測は、探索的執筆作業における能動的に検索された文書の精度を向上させることができるか？
• RQ2 LSTMベースのクエリ拡張は、ユーザー意図モデリングと比較して、検索効果性においてどのように異なるか？
• RQ3 LSTMベースの拡張のパフォーランスは、入力文脈の長さに依存するか？
• RQ4 どのような条件下でクエリ拡張が検索パフォーマンスを低下させ、その理由は何か？
• RQ5 本システムは、実世界の展開を想定して、異なるテキストソース（例：メール、PDF、Webページ）間で一般化可能か？

主な発見

• 入力文脈が10語を超える場合、LSTMベースのクエリ拡張は、探索的検索における検索精度を顕著に向上させる。
• 短い文脈（n < 10）では、ユーザー意図モデリング手法がLSTM法を上回る結果となり、両者の強みが補完的であることが示唆された。
• 既知項目検索では、LSTMベースの拡張がパフォーマンスを低下させる傾向にあり、ターゲットが狭く、予測誤差に対して非常に敏感であることが原因と考えられる。
• ユーザー意図モデリング手法は、関連ドキュメントからの高tf-idf語句の追加により、短い文脈での精度を向上させる。
• LSTMモデルは、執筆における系列的依存関係を効果的に捉え、将来のテキストと関連する情報の正確な予測を可能にする。
• システムの設計により、テキスト入力が可能な限り多様なソースからの文脈抽出が可能であり、広範な展開可能性を有する。