[論文レビュー] Reading Wikipedia to Answer Open-Domain Questions

Danqi Chen, Adam Fisch+2 more|arXiv (Cornell University)|Mar 31, 2017

Topic Modeling参考文献 31被引用数 90

ひとこと要約

DrQA は Wikipedia 上の高速な文書リトリーバとニューラル文書リーダーを組み合わせ、Wikipedia を唯一の知識源としてオープン領域の質問応答を行い、複数の QA ベンチマークで強い結果を達成し、多タスク学習と遠隔監督付き訓練の利点を示す。

ABSTRACT

This paper proposes to tackle open- domain question answering using Wikipedia as the unique knowledge source: the answer to any factoid question is a text span in a Wikipedia article. This task of machine reading at scale combines the challenges of document retrieval (finding the relevant articles) with that of machine comprehension of text (identifying the answer spans from those articles). Our approach combines a search component based on bigram hashing and TF-IDF matching with a multi-layer recurrent neural network model trained to detect answers in Wikipedia paragraphs. Our experiments on multiple existing QA datasets indicate that (1) both modules are highly competitive with respect to existing counterparts and (2) multitask learning using distant supervision on their combination is an effective complete system on this challenging task.

研究の動機と目的

• Wikipedia を唯一の知識源とするオープンドメインQAを動機づけ、関連する記事を取得し、スパンベースの回答を得るための読解の課題を特定する。
• ドキュメントリトリーバとドキュメントリーダーの2要素からなるシステムを開発し、リトリーバルと機械読解を大規模で扱えるようにする。
• 複数のQAデータセットでシステムを評価し、転移性と遠隔監督および多タスク学習の有用性を評価する。

提案手法

• Document Retriever: バイグラムハッシュとTF-IDFスコアリングを用いた効率的なリトリーバルモジュールで、関連する Wikipedia 記事の小さな集合を返す。
• Document Reader: 段落と質問をエンコードする多層の双方向LSTMニューラルネットワークで、語彙埋め込み、完全一致シグナル、品詞/固有表現/TF、整列された質問埋め込みなどの特徴を用い、回答のスパンの開始点と終了点を予測する。
• Training: 主訓練にはSQuADを使用し、SQuAD以外のQAペアと段落を関連付けて遠隔監督データを生成し、DSデータとSQuADを組み合わせることで多タスク学習を検討する。
• Prediction: バイリニア項で開始位置と終了位置をスコア付けして、取得された文書間で最良の回答スパンを選択し、段落内のスパンを選ぶ（最大15トークン）。
• Evaluation: SQuAD で個々のコンポーネントを分離評価し、次に開放ドメインQAタスクにおける DrQA 全体を、SQuAD development set、CuratedTREC、WebQuestions、WikiMovies にわたって評価する。

実験結果

リサーチクエスチョン

• RQ1 Wikipedia のみで、テキストを取得して読み取り、回答スパンを抽出するモジュール式パイプラインを用いたオープンドメインのファクト型QAをサポートできるか？
• RQ2 取得品質と段落レベルの機械読解は、多様なデータセットに対する全体のQA性能にどのように影響し合うか？
• RQ3 遠隔監督付きの多タスク学習は、単一データセット訓練を超えるオープンドメインQAの性能向上につながるか？
• RQ4 オープンドメインQAにおける単一の正しい段落を読む（機械読解）ことと、Wikipedia から複数の段落/文書を読むこととのギャップは何か？

主な発見

• バイグラムハッシュを用いた Document Retriever は、回答を含む記事を特定する点で組み込みの Wikipedia 検索 API を上回る。
• Document Reader は、SQuAD において単一モデルとして強力な結果を達成し、テストセットで 70.0% Exact Match および 79.0% F1 に到達し、いくつかの公表システムを上回る。
• 多タスク遠隔監督付きで訓練した場合、DrQA の完全なオープンドメインQAシステムは SQuAD、CuratedTREC、WebQuestions、WikiMovies の全体で競争力のある結果を示し、多くのケースで単一タスク訓練を上回る。
• 遠隔監督と多タスク訓練は SQuAD のみでの訓練にとどまらない有意な改善をもたらし、同じ知識源内の追加のドメイン関連データの利点を示している。
• オープンドメインの回答を予測する際、SQuAD の質問は特定の段落に合わせて作られることが多いため、段落読解と比べてエンドツーエンドのオープンドメインQAでは性能低下を経験する、これは課題を浮き彫りにしている。