[論文レビュー] An Empirical Analysis of Multiple-Turn Reasoning Strategies in Reading Comprehension Tasks

Yelong Shen, Xiaodong Liu+2 more|arXiv (Cornell University)|Nov 8, 2017

Topic Modeling参考文献 29被引用数 14

ひとこと要約

本論文は、反復的注意と強化学習を用いた拡張された ReasoNet モデルを用いて、読解における複数ターン推論を調査している。SQuAD および MS MARCO において、複数ターン推論は単一ターン推論を常に上回り、固定戦略よりも柔軟なターン数が優れた結果をもたらし、最先端の競争力ある性能を達成している。

ABSTRACT

Reading comprehension (RC) is a challenging task that requires synthesis of information across sentences and multiple turns of reasoning. Using a state-of-the-art RC model, we empirically investigate the performance of single-turn and multiple-turn reasoning on the SQuAD and MS MARCO datasets. The RC model is an end-to-end neural network with iterative attention, and uses reinforcement learning to dynamically control the number of turns. We find that multiple-turn reasoning outperforms single-turn reasoning for all question and answer types; further, we observe that enabling a flexible number of turns generally improves upon a fixed multiple-turn strategy. %across all question types, and is particularly beneficial to questions with lengthy, descriptive answers. We achieve results competitive to the state-of-the-art on these two datasets.

研究の動機と目的

• ニューラル読解モデルにおける複数ターン推論戦略の有効性を実証的に評価すること。
• SQuAD および MS MARCO における多様な質問・回答タイプにおいて、単一ターン対比して複数ターン推論を比較すること。
• 動的に推論ターン数を決定することで、固定ターン戦略よりも性能が向上するかどうかを分析すること。
• より高い耐性と性能を実現するため、ReasoNet モデルにサブワード埋め込みとパassageランクイングを拡張すること。
• SQuAD および MS MARCO で競争力ある結果を達成するとともに、ニューラルモデルにおける推論ダイナミクスの洞察を提供すること。

提案手法

• ReasoNet++ モデルは、同じパassageに対して反復的注意を用いて複数の推論ターンをシミュレートするエンドツーエンドのニューラルネットワークを採用している。
• 推論の終了タイミングを動的に決定するため、終了信号に基づいて強化学習が適用されている。
• 質問とパassageは埋め込み層およびエンコーダ層を処理した後、共注意力を用いて質問に依存する表現とパassageに依存する表現を生成する。
• 中間推論状態（S_t）はGRUを用いて反復的に更新され、回答生成は終了時にのみ行われる。
• 語の表現の耐性を高めるために、サブワードレベルの埋め込み（文字および3-gram）が追加されている。
• MS MARCO では、外部のIRモデルを介してパassageランクイングが統合され、回答抽出の前に関連パassageが選択されている。

実験結果

リサーチクエスチョン

• RQ1 SQuAD および MS MARCO における異なる質問・回答タイプにおいて、複数ターン推論は単一ターン推論を上回るか？
• RQ2 柔軟で動的に決定された推論ターン数は、固定ターン数よりも優れているか？
• RQ3 サブワード埋め込みとパassageランクイングは、読解タスクにおけるモデル性能にどのように影響するか？
• RQ4 ReasoNet++ モデルは、SQuAD および MS MARCO において最先端の手法と比較して、どの程度競争力ある性能を達成しているか？
• RQ5 反復的推論は、共参照や複数文統合などの複雑な推論タイプを処理するために、どの程度貢献しているか？

主な発見

• SQuAD および MS MARCO のすべての質問・回答タイプにおいて、複数ターン推論は単一ターン推論を上回っている。
• インスタンスごとに最適な推論ターン数を学習する動的ターン制御戦略は、固定ターン戦略よりも優れた性能を達成している。
• サブワード埋め込み（文字および3-gram）を追加することで、SQuAD ではF1が1.1ポイント向上、MS MARCO ではROUGEが0.9ポイント向上した。
• オラクルパassageランクイングを用いることで、MS MARCO の性能は62.83 BLEUおよび63.17 ROUGE-Lに達し、共同学習によるさらなる向上の余地が大きいことが示された。
• ReasoNet++ モデルは、MS MARCO テストセットで75.0/82.6 EM/F1、SQuAD で70.6/79.36 EM/F1を達成し、最先端モデルと比較して競争力のある結果を示した。
• SQuAD における人間の性能は82.3% EMおよび91.2% F1であり、現在のモデルはまだギャップを埋める余地があるが、ReasoNet++ は強力な結果を示している。