[論文レビュー] S-Net: From Answer Extraction to Answer Generation for Machine Reading Comprehension

Chuanqi Tan, Furu Wei+4 more|arXiv (Cornell University)|Jun 15, 2017

Topic Modeling被引用数 67

ひとこと要約

S-Net は MS-MARCO に対して抽出→統合のフレームワークを提案し、まず passages から証拠スパンを予測し、次に証拠を特徴として用いる seq-to-seq 統合モデルで最終回答を生成します。

ABSTRACT

In this paper, we present a novel approach to machine reading comprehension for the MS-MARCO dataset. Unlike the SQuAD dataset that aims to answer a question with exact text spans in a passage, the MS-MARCO dataset defines the task as answering a question from multiple passages and the words in the answer are not necessary in the passages. We therefore develop an extraction-then-synthesis framework to synthesize answers from extraction results. Specifically, the answer extraction model is first employed to predict the most important sub-spans from the passage as evidence, and the answer synthesis model takes the evidence as additional features along with the question and passage to further elaborate the final answers. We build the answer extraction model with state-of-the-art neural networks for single passage reading comprehension, and propose an additional task of passage ranking to help answer extraction in multiple passages. The answer synthesis model is based on the sequence-to-sequence neural networks with extracted evidences as features. Experiments show that our extraction-then-synthesis method outperforms state-of-the-art methods.

研究の動機と目的

• 回答が複数の passages から来ることがあり、厳密なテキストスパンを超えた統合が必要になる MS-MARCO 設定を動機づける。
• 最初に証拠スパンを抽出し、次に最終回答を統合する抽出-統合フレームワークを開発する。
• 証拠抽出を強化するために passages のランキングを含むマルチタスク学習アプローチを導入する。
• 抽出された証拠を特徴として最終回答生成に用いる seq-to-seq 統合モデルを活用する。
• 純粋な抽出やいくつかのベースラインと比較して MS-MARCO で最先端の性能を示す。

提案手法

• 質問と passages の双方向GRUベースのエンコーディングを、文字レベルの埋め込みを用いて行う。
• 連結された passages 上の開始位置と終了位置を出力するポインタネットワークを用いて証拠スニペットを予測する。
• 証拠抽出を改善するために passage ranking をマルチタスク目的として実装する。
• 証拠予測と passage ranking の結合損失を用いて証拠抽出モデルを訓練する。
• 質問、 passages、および抽出された証拠位置を特徴として条件付ける seq-to-seq モデルで最終回答を統合する。
• ビーム探索でデコードし、生成された回答を改善するために後処理を適用する。）],
• research_questions [

実験結果

リサーチクエスチョン

• RQ1 複数のスパンやパッセージ外の語を含む可能性のある MS-MARCO 風の回答を、どのように効果的に生成できるか。
• RQ2 証拠抽出と統合を組み合わせることで、純粋な抽出やエンドツーエンド生成より回答の質が向上するか。
• RQ3 結合された passage ranking は抽出品質と下流の統合を改善するか。
• RQ4 seq-to-seq 生成モデルは抽出された証拠を効果的に活用して一貫した最終回答を生成できるか。

主な発見

• 抽出-統合フレームワークは MS-MARCO で ROUGE-L および BLEU-1 において純粋な抽出ベースラインやいくつかの競合手法を上回る。
• 抽出モデルのアンサンブルにより、抽出のみを用いてテストセットで ROUGE-L を 42.92、BLEU-1 を 44.97 にさらに向上させる。
• 抽出証拠を特徴として用いた統合モデルは追加の改善をもたらし、ROUGE-L 46.65、BLEU-1 44.78（S-Net*）を達成、ROUGE-L で人間の性能に近い。
• passage ranking を伴うマルチタスク学習は証拠抽出と全体の ROUGE-L 性能を改善する。
• 複数の証拠からの統合、あるいは質問自体の語を含む回答を要する質問に対して顕著な効果がある。）