[論文レビュー] Read + Verify: Machine Reading Comprehension with Unanswerable Questions

Minghao Hu, Furu Wei+4 more|arXiv (Cornell University)|Aug 17, 2018

Topic Modeling参考文献 36被引用数 20

ひとこと要約

この論文は、まず候補となる答えを抽出し、その後専用の検証者を用いてその正当性を検証する、機械的読解のための「読む→検証する」フレームワークを提案する。このシステムは、答え抽出とノー・アンサー検出の両方を強化するための2つの補助損失を導入し、3種類の検証者アーキテクチャを評価しており、74.2 F1の最先端性能を達成した（2018年8月28日時点のSQuAD 2.0テストセット）。

ABSTRACT

Machine reading comprehension with unanswerable questions aims to abstain from answering when no answer can be inferred. In addition to extract answers, previous works usually predict an additional "no-answer" probability to detect unanswerable cases. However, they fail to validate the answerability of the question by verifying the legitimacy of the predicted answer. To address this problem, we propose a novel read-then-verify system, which not only utilizes a neural reader to extract candidate answers and produce no-answer probabilities, but also leverages an answer verifier to decide whether the predicted answer is entailed by the input snippets. Moreover, we introduce two auxiliary losses to help the reader better handle answer extraction as well as no-answer detection, and investigate three different architectures for the answer verifier. Our experiments on the SQuAD 2.0 dataset show that our system achieves a score of 74.2 F1 on the test set, achieving state-of-the-art results at the time of submission (Aug. 28th, 2018).

研究の動機と目的

• 既存モデルが未回答の質問状況における予測された答えの正当性を検証できないという限界を解消すること。
• 補助損失を用いて答え抽出とノー・アンサー予測を分離することで、ノー・アンサー検出を改善すること。
• 候補となる答えが本文と質問によって論理的に支持されているかどうかを検証する段階を導入し、否定や対義語といった言語現象への耐性を高めること。
• 答え検証者に複数のアーキテクチャを評価し、局所的含意検出に最も効果的な設計を同定すること。

提案手法

• システムは2段階のアーキテクチャを採用する：まず読み取り器が候補となる答えの抽出とノー・アンサー確率の推定を行い、その後検証者が答えの正当性を検証する。
• 2つの補助損失を導入する：答え抽出の改善を目的とした独立したスパン損失、および共有正規化による干渉を避けるための別個のノー・アンサー損失。
• 答え検証者は自然言語含意（NLI）を用い、抽出された答えが本文と質問によって論理的に支持されているかどうかを評価する。3つのアーキテクチャを用いる：逐次型、インタラクションベース型、ハイブリッド型。
• 検証者は答えの文と質問を比較し、局所的含意を検出する。否定、対義語、不可能な状況といった言語現象に注目する。
• 読み取り器は文脈表現を向上させるためにELMo埋め込みを用いて訓練され、最終的な予測は読み取り器の出力と検証者の意思決定を統合することで得られる。
• システムはSQuAD 2.0で評価され、回答可能・未回答の両方の質問を含むベンチマークであり、F1スコアとEMスコアを評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドモデルと比較して、2段階の読む→検証するフレームワークは、未回答の質問に対する耐性を向上させることができるか？
• RQ2 補助損失は、答え抽出とノー・アンサー検出の分離と強化にどの程度効果的か？
• RQ3 逐次型、インタラクションベース型、ハイブリッド型のうち、どのアーキテクチャ設計が答え検証で最も優れたパフォーマンスを発揮するか？
• RQ4 答えと質問の間の局所的含意検出は、複雑な言語現象（特に否定や対義語）に対応する未回答の質問の特定を改善できるか？
• RQ5 検証者の統合は、ベースラインモデルと比較してSQuAD 2.0におけるF1スコアを顕著に向上させるか？

主な発見

• 提案されたシステムは、SQuAD 2.0でテストF1スコア74.2を達成し、提出時（2018年8月28日）の最先端性能を示した。
• ELMo埋め込みを用いることで、読み取り器単体で開発セットで73.7 F1を達成し、検証者を組み合わせたフルシステムでは74.8 F1に向上した。
• 否定と対義語のケースにおける誤り率が低下し、誤り集合では否定の誤りが9%から0%に減少した。また、20個の対義語例のうち4つしか誤分類されなかった。
• 残りの誤りの46%は、不可能な状況やその他の中立的現象に起因しており、複雑な推論失敗の検出における課題を示している。
• ハイブリッド検証者アーキテクチャが、個別の逐次型およびインタラクションベース型モデルを上回り、グローバルおよびローカルモデリングの組み合わせが検証精度を向上させることを示唆している。
• アブレーションスタディにより、両方の補助損失が性能向上に顕著に寄与していることが確認された。スパン損失は答え抽出を向上させ、ノー・アンサー損失は検出における干渉を低減した。