[論文レビュー] Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification

Yizhong Wang, Kai Liu+6 more|arXiv (Cornell University)|May 6, 2018

Topic Modeling参考文献 26被引用数 11

ひとこと要約

この論文は、複数の記事を対象とした機械読解（MRC）のためのエンド・ツー・エンドなニューラルモデルを提案し、異なる記事間での答えの整合性を検証することで、正答率を向上させることを目的としている。正答候補の間の意味的整合性を活用することで、英語の MS-MARCO および中国語の DuReader データセットにおいて、現在の最先端性能（SOTA）を達成している。3つのモジュール（答えの境界予測、答えの内容モデリング、記事間検証）を同時に学習することで、効果的に性能を向上させている。

ABSTRACT

Machine reading comprehension (MRC) on real web data usually requires the machine to answer a question by analyzing multiple passages retrieved by search engine. Compared with MRC on a single passage, multi-passage MRC is more challenging, since we are likely to get multiple confusing answer candidates from different passages. To address this problem, we propose an end-to-end neural model that enables those answer candidates from different passages to verify each other based on their content representations. Specifically, we jointly train three modules that can predict the final answer based on three factors: the answer boundary, the answer content and the cross-passage answer verification. The experimental results show that our method outperforms the baseline by a large margin and achieves the state-of-the-art performance on the English MS-MARCO dataset and the Chinese DuReader dataset, both of which are designed for MRC in real-world settings.

研究の動機と目的

• 実際のウェブデータにおける複数記事 MRC において、混乱を引き起こす複数の答え候補が存在するという課題に対処すること。
• 単一記事 MRC モデルが、矛盾するまたは曖昧な答えを伴う複数記事設定に適用された場合に生じる限界を克服すること。
• 異なる記事からの答え候補が、内容表現に基づいて互いに検証できるようにすることで、答え選択を改善すること。
• 答えの境界検出、内容モデリング、記事間検証を統合したエンド・ツー・エンドで学習可能なフレームワークを開発すること。
• ウェブ規模の質問応答を想定した現実世界の MRC ベンチマークで、最先端の性能を達成すること。

提案手法

• 各記事内の答えスパンの開始位置と終了位置を予測するため、境界ベースのポインタネットを用いる。
• 答えの内容を、スパン内での単語レベルの注目を強化する内容確率によってモデリングする。特に意味的に関連する語に注目を向ける。
• 記事間注目を適用し、各答え候補が他の候補の内容表現に基づいて注目することで、一貫性を評価する。
• 境界ラベル、内容スコア、検証信号という異なる形式の答えの教師信号を用いて、3つのモジュールを同時に学習する。
• 重複する答えや意味的に一貫性のある答えを促進し、一貫性のないまたは誤った候補を罰する微分可能な損失関数を採用する。
• 答え候補同士の自己注意を活用し、複数の記事にわたる一貫性のある答えを特定・検証することで、正答を特定する。

実験結果

リサーチクエスチョン

• RQ1 複数の記事から矛盾する答え候補が得られるような複数記事 MRC において、記事間での答え検証は性能向上に寄与するか？
• RQ2 境界スパンが類似しているが意味的に誤った答え候補と正しい候補を区別するために、答えの内容表現をどのように活用できるか？
• RQ3 境界検出、内容モデリング、検証モジュールを同時に学習することで、全体の MRC 性能がどの程度向上するか？
• RQ4 複数記事間での答え検証が可能なモデルは、パイプライン型または別個の再順序付け手法を上回る性能を発揮できるか？
• RQ5 異なる記事からの答え候補間の意味的整合性は、正答性と相関しているか？また、この相関関係をニューラルモデルで効果的に活用できるか？

主な発見

• 提案モデルは、英語の MS-MARCO データセットにおいて、最先端の性能を達成しており、ベースラインモデルを顕著に上回っている。
• 中国語の DuReader データセットにおいても、同様に最先端の結果を達成しており、言語やドメインを越えた強い汎化能力を示している。
• 記事間答え検証モジュールにより、一貫性のない答え候補を効果的に特定し、誤った予測を削減している。
• 3つのモジュールを同時に学習することで、個別に学習するか、順次パイプラインを用いる場合よりも優れた性能が得られている。
• 答えスパン内での内容ベースの注目により、意味的に類似しているが誤った答え候補との区別が向上している。
• モデルが複数の記事にわたる一貫性のある答えを特定・集約できる能力のおかげで、両ベンチマークデータセットにおいて F1 スコアと EM スコアが向上している。