[論文レビュー] Ask the Right Questions: Active Question Reformulation with Reinforcement Learning

Christian Buck, Jannis Bulian+5 more|arXiv (Cornell University)|May 22, 2017

Topic Modeling被引用数 82

ひとこと要約

この論文は Question Answering を強化学習問題として再定式化し、AQA を導入します。AQA はブラックボックスQA環境との相互作用を通じて質問を再構成し、QA の品質を最大化するエージェントであり、SearchQA で実質的な利得を実証します。

ABSTRACT

We frame Question Answering (QA) as a Reinforcement Learning task, an approach that we call Active Question Answering. We propose an agent that sits between the user and a black box QA system and learns to reformulate questions to elicit the best possible answers. The agent probes the system with, potentially many, natural language reformulations of an initial question and aggregates the returned evidence to yield the best answer. The reformulation system is trained end-to-end to maximize answer quality using policy gradient. We evaluate on SearchQA, a dataset of complex questions extracted from Jeopardy!. The agent outperforms a state-of-the-art base model, playing the role of the environment, and other benchmarks. We also analyze the language that the agent has learned while interacting with the question answering system. We find that successful question reformulations look quite different from natural language paraphrases. The agent is able to discover non-trivial reformulation strategies that resemble classic information retrieval techniques such as term re-weighting (tf-idf) and stemming.

研究の動機と目的

• QA性能をブラックボックス設定で反復的に再構成することによって改善を促進する。
• ユーザーとQA環境の間で動作するエンドツーエンドの RL 駆動再構成エージェントを開発する。
• 学習した再構成が最先端のQAモデルやヒューリスティックなベースラインを上回ることを示す。
• エージェントの再構成の言語的性質を分析し、それを古典的IR手法と関連づける。

提案手法

• QA を RL 問題として定式化し、再構成モデルが初期質問の複数の書き換えを生成する。
• 多言語翻訳で事前学習されたシーケンス-ツ-シーケンスの再構成モデルを使用し、ポリシー勾配と分散削減のためのベースラインで RL によって洗練する。
• BiDAF ベースの環境をブラックボックス QA システムとして用い、回答の品質（トークンレベルの F1）に基づいて回答と報酬を返す。
• 複数の再構成候補から最良の回答を選択するための CNN ベースの回答セレクターを訓練し、F1 派生シグナルで評価する。
• 再構成の品質を改善するために、 multilingual MT データの事前学習（ゼロショット翻訳）と単言語パラフレーズデータ（Paralex）による洗練を併用する。
• SearchQA で CNN ベースの回答セレクターを用いて評価し、MI-SubQuery、Base-NMT、人工ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス QA システムに対して複数の自然言語書き換えで照会することで、RL 力を持つ再構成エージェントは QA 性能を改善できるか？
• RQ2 エージェントが学ぶ再構成はどのようなものか、従来の IR 手法（例：tf-idf 重み付け、語幹化）に似ているか？
• RQ3 エンドツーエンドで訓練された AQA システムは SearchQA データセットでベースラインや人間の性能を上回るか？
• RQ4 エージェントが生成する言語は自然なパラフレーズとどのように異なり、QA モダリティとどのように関連するか？
• RQ5 前提学習戦略（multilingual MT → monolingual paraphrase データ）が最終的な QA 性能に与える影響は何か？

主な発見

• AQA は SearchQA テストセットで BiDAF を絶対 F1 で 11.4 ポイント改善（32% 相対 F1 改善）。
• 再構成器のトップ仮説を使用すると、元の質問で BiDAF に対して即時の 2.2 F1 改善を達成。
• 再構成候補で訓練された専用の CNN 回答セレクターは、MI-SubQuery および Base-NMT ベースラインを約 3% の F1 で上回る。
• オラクル型評価は、再構成からの潜在的な余地が大きいことを示す（オラクル EM ほぼ 50、オラクル F1 ほぼ 58）。
• エージェントは IR 手法（例えば語の再ウェイト付けや語幹化）に似た非自明な再構成戦略を学習し、自然なパラフレーズから逸脱する。
• 再構成は長く、語の密度が高くなる（DF が高い語句、重複の増加）ことで、ニューラル QA エンコーダの整合性を助ける。