[論文レビュー] Task-Oriented Query Reformulation with Reinforcement Learning

Rodrigo Nogueira, Kyunghyun Cho|arXiv (Cornell University)|Apr 15, 2017

Information Retrieval and Search Behavior参考文献 17被引用数 29

ひとこと要約

本論文は、元のクエリおよび取得された文書から関連語を抽出することで、文書検索の再検索率を向上させる強化学習（RL）ベースのフレームワークを提案する。ニューラルネットワークを用いて候補語のスコアを算出し、強化学習による再検索率最適化を実行する。3つのデータセットで、強力なベースライン比で5–20%の相対的再検索率向上を達成し、新たな上限推定法により、今後の向上余地が顕著であることが明らかになった。

ABSTRACT

Search engines play an important role in our everyday lives by assisting us in finding the information we need. When we input a complex query, however, results are often far from satisfactory. In this work, we introduce a query reformulation system based on a neural network that rewrites a query to maximize the number of relevant documents returned. We train this neural network with reinforcement learning. The actions correspond to selecting terms to build a reformulated query, and the reward is the document recall. We evaluate our approach on three datasets against strong baselines and show a relative improvement of 5-20% in terms of recall. Furthermore, we present a simple method to estimate a conservative upper-bound performance of a model in a particular environment and verify that there is still large room for improvements.

研究の動機と目的

• 検索エンジンに複雑または不正確なクエリを入力した場合の低い再検索率という課題に対処すること。
• 強化学習を用いて動的にクエリの関連性を向上させるタスク指向型クエリ再定式化システムを開発すること。
• 元のクエリおよび取得された文書から語を選択して再検索クエリを構築し、再検索性能（再検索率）を最大化するエージェントを訓練すること。
• 与えられた環境におけるモデル性能の保守的上限を推定し、今後の改善の余地を特定すること。
• 学術的情報検索を目的とした、30万組以上のクエリ-関連文書ペアを含む新しい大規模データセット（MS Academic）を提供すること。

提案手法

• フレームワークは、検索エンジンをブラックボックス環境として扱い、エージェント（再定式化者）が元のクエリおよび取得された文書から語を選択することで再定式化クエリを生成する。
• 畳み込みニューラルネットワーク（CNN）または再帰ニューラルネットワーク（RNN）エンコーダーを備えたニューラルネットワークが、クエリおよび候補語の埋め込み表現を処理し、各語の選択確率を計算する。クエリと語の表現の連結に続く、シグモイド活性化関数を用いた全結合層を用いる。
• コアとなる式は P(t_i|q_0) = σ(U^T tanh(W(φ_a(v) || φ_b(e_i)) + b)) であり、語の埋め込みは事前学習済み単語ベクトルから学習され、未知語は学習中に埋め込みが生成される。
• エージェントは方策勾配強化学習により訓練され、報酬は再定式化クエリを用いて取得された関連文書の再検索率として定義される。
• タスク固有のデータセットでのファインチューニングにより、質問応答や引用推薦などの複数のタスクをサポートする。
• 与えられた環境におけるRLモデルの性能上限を推定する、新しいオラクルベースの手法を導入し、今後の改善のベンチマークを提供する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、文書検索の再検索率を向上させるためにクエリ再定式化を効果的に最適化できるか？
• RQ2 異なる検索タスクにおいて、RLベースの再定式化者と強力なベースラインとの性能差は何か？
• RQ3 与えられた検索環境におけるこのようなモデルの性能上限は何か？ 今後の改善の余地はどの程度あるか？
• RQ4 異なる学習タスクは、再定式化語の選択にどのような影響を与えるか（例：固有名詞対意味的語）？
• RQ5 同じフレームワークは、タスク固有のファインチューニングを用いて、異なる情報検索タスクにどの程度適応可能か？

主な発見

• RLベースのクエリ再定式化者により、TREC-CAR、Jeopardy、MS Academicの3つのデータセットで、強力なベースライン比で再検索率が5–20%向上した。
• 異なるタスクで学習したモデルは、異なる種類の語を選択する：Jeopardyで学習したモデルは固有名詞（例：'Tunxis'）を好むが、TREC-CARで学習したモデルは意味的語（例：'accreditation'）を選択し、MS Academicで学習したモデルは多様なエンティティ関連語（例：'arts center', 'library'）を選ぶ。
• 提案されたオラクル手法により、保守的な性能上限が推定され、フレームワークにおけるさらなる向上余地が顕著に示された。
• RL-CNNモデルが、速度と性能のバランスが最も優れており、1バッチあたり64クエリの推論に約1秒を要し、そのうち約40%が文書取得に費やされている。
• 最良のモデル（RL-RNN）を訓練するには、1枚のK80 GPUで8–10日を要し、優れた結果を得つつも、計算コストが非常に高いことが示された。
• 定性的な分析により、報酬関数が中立語にペナルティを課さないにもかかわらず、意味的に関連する語に高い選択確率が割り当てられていることが確認された。