[論文レビュー] Generating Followup Questions for Interpretable Multi-hop Question Answering

Christopher Malon, Bing Bai|arXiv (Cornell University)|Feb 27, 2020

Topic Modeling参考文献 19被引用数 4

ひとこと要約

本稿では、部分的証拠に基づき、解釈可能なフォローアップ質問を生成するニューラルフレームワークを提案する。ポインタジェネレータネットワークを用いて、関連する部分的質問を生成する。2ホップ設定において、ベースライン比でF1スコアを8.9%向上させ、学習されたフォローアップ質問が、手動で作成されたルールを必要とせずに、リtrievalの特異性とモデルの解釈可能性を向上させることを示している。

ABSTRACT

We propose a framework for answering open domain multi-hop questions in which partial information is read and used to generate followup questions, to finally be answered by a pretrained single-hop answer extractor. This framework makes each hop interpretable, and makes the retrieval associated with later hops as flexible and specific as for the first hop. As a first instantiation of this framework, we train a pointer-generator network to predict followup questions based on the question and partial information. This provides a novel application of a neural question generation network, which is applied to give weak ground truth single-hop followup questions based on the final answers and their supporting facts. Learning to generate followup questions that select the relevant answer spans against downstream supporting facts, while avoiding distracting premises, poses an exciting semantic challenge for text generation. We present an evaluation using the two-hop bridge questions of HotpotQA.

研究の動機と目的

• マルチホップQAにおける意味的で解釈可能なフォローアップ質問を生成する課題、特に中間的推論を要するブリッジ型質問に対して対処すること。
• 手動で作成されたルールやヒューリスティクスに依存しない、完全に訓練されたエンドツーエンド微分可能なフォローアップ質問生成器を開発すること。
• ドリフト設定における回答抽出の正確性向上に、生成されたフォローアップ質問が果たす効果を評価すること。
• 回答抽出器からの弱い監視を用いて、フォローアップ質問生成のための新しい評価プロトコルを確立すること。
• ニューラル質問生成が、関連する支援的事実に向けたリトリーブをガイドする質問を生成するためにどのように適応可能かを検討すること。

提案手法

• ポインタジェネレータネットワークを用いて、元の質問と最初のホップからの部分的支援証拠に基づき、フォローアップ質問を生成する。
• モデルは、カバレッジおよびコピーメカニズムを備えたシーケンス・ツー・シーケンスアーキテクチャを用い、流れの良い、事実に基づいた質問を生成する。
• トレーニングは弱い監視を用いて実施される：生成された質問が、凍結された単一ホップ回答抽出器によって2番目のホップの証拠から正しく最終回答を抽出できるかどうかで評価される。
• コントローラーモジュールを用いて、取得された証拠を「無関係」「最終回答を含む」「中間情報のみを含む」と分類する。
• パイプラインは、元の質問を単純化された部分的質問に段階的に分解し、各ホップで事前学習済みの単一ホップモデルを用いて回答抽出を実行する。
• フォローアップ生成器のパフォーマンスを分離するために、支援的事実の完全なリトリーブを仮定するオラクル設定を用いる。

実験結果

リサーチクエスチョン

• RQ1 ニューラル質問生成器は、文脈に適した質問を生成でき、元の質問を解くために必要な欠落した情報と意味的に整合する質問を生成できるか？
• RQ2 フォローアップ質問を生成することで、直接的な単一ホップリトリーブや元の質問の単純な再利用に比べ、回答の正確性が向上するか？
• RQ3 マルチホップQAにおける異なるタイプのブリッジ型質問において、フォローアップ生成器のパフォーマンスはどのように変化するか？
• RQ4 回答抽出器からの弱い監視が、生成されたフォローアップ質問の質をどの程度向上させられるか？
• RQ5 生成されたフォローアップ質問は、無関係な前提を避けながら、関連する支援的事実に焦点を当てるリトリーブを効果的にガイドできるか？

主な発見

• 訓練されたフォローアップ質問生成器は、元の質問を再利用するベースラインに比べ、F1スコアを8.9ポイント向上させ、文脈に適した部分的質問生成の価値を示した。
• 'Q1で答えられる場合はQ1、そうでなければQ2'という戦略を採用した場合、フィルタリングを施した開発セットで34.7 F1および43.8 F1の最高スコアを達成した。
• モデルは70%のケースで関連するフォローアップ質問を生成でき、元の質問が曖昧または不十分であっても、2番目のホップの証拠から正しく回答を抽出できた。
• 2番目のホップで1,180件のフォローアップクエリが生成され、そのうち975件で回答抽出器が正しく回答を抽出できた。これは、下流用途における高い信頼性を示している。
• オラクル評価設定により、フォローアップ生成器がリトリーブの特異性を顕著に向上させることを確認した。無関係な前提を避けながら、関連する事実に焦点を当てる。
• 単純なベースライン（元の質問を再利用）よりも性能が優れており、マルチホップ推論において、学習されたフォローアップ質問は静的クエリよりも効果的であることを証明した。