[論文レビュー] A Multi-Type Multi-Span Network for Reading Comprehension that Requires Discrete Reasoning

Minghao Hu, Yuxing Peng+2 more|arXiv (Cornell University)|Aug 15, 2019

Topic Modeling参考文献 27被引用数 7

ひとこと要約

本稿では、マルチタイプ予測器を介して、スパン、カウント、算術式、論理的否定を含む多様な答え形式をサポートする神経的読解モデルであるMulti-Type Multi-Span Network（MTMSN）を提案する。MTMSNは、スパン数に配慮したメカニズムにより、重複のない1つ以上のスパンを動的に抽出し、算術式の再順序付けモジュールを用いて推論の正確性を向上させる。MTMSNは、DROPの隠しテストセットにおいて79.9のF1を達成し、従来手法を著しく上回る新たなSOTAを達成した。

ABSTRACT

Rapid progress has been made in the field of reading comprehension and question answering, where several systems have achieved human parity in some simplified settings. However, the performance of these models degrades significantly when they are applied to more realistic scenarios, such as answers involve various types, multiple text strings are correct answers, or discrete reasoning abilities are required. In this paper, we introduce the Multi-Type Multi-Span Network (MTMSN), a neural reading comprehension model that combines a multi-type answer predictor designed to support various answer types (e.g., span, count, negation, and arithmetic expression) with a multi-span extraction method for dynamically producing one or multiple text spans. In addition, an arithmetic expression reranking mechanism is proposed to rank expression candidates for further confirming the prediction. Experiments show that our model achieves 79.9 F1 on the DROP hidden test set, creating new state-of-the-art results. Source code\footnote{\url{https://github.com/huminghao16/MTMSN}} is released to facilitate future work.

研究の動機と目的

• 既存の読解モデルが多様な答え形式、複数スパン、および否定や算術的推論といった離散的推論を扱う点での限界を是正すること。
• 複雑で多面的な質問に対して一般化性能を向上させるために、答えスパンの数と内容を動的に予測できる統合型ニューラルネットワークアーキテクチャを設計すること。
• 文脈に配慮した再順序付けにより、式の候補を評価・再順序付けすることで、誤った記号的予測を低減し、算術的推論を強化すること。
• 従来モデルの個別的数値予測と硬直的な単一スパン出力の欠点を克服し、特に現実的で複雑な読解シナリオにおいて効果を発揮すること。

提案手法

• スパン、カウント、算術式、論理的否定を含む複数の答え形式を同時に予測できるマルチタイプ予測器を導入し、答え形式のカバー範囲を広げる。
• スパン数に配慮したメカニズムにより、答えの数を動的に決定し、重複のないスパンを抽出するマルチスパン抽出機構を採用し、単一および複数の答えの両方をサポートする。
• 質問と本文の深い文脈表現を生成するために、事前学習済みのTransformerエンコーダ（例：BERT）を用いる。
• 算術式の再順序付け機構により、ビームサーチで生成された式の候補を、その文脈的妥当性に基づいて評価・再順序付けし、最終予測の信頼性を向上させる。
• 各答え形式とスパン抽出のための予測ヘッドを統合したマルチタスク損失を用いて、エンド・ツー・エンドで学習する。
• 式生成にはビームサーチ戦略を採用し、その後、文脈に配慮したスコアリングを用いて不適切な候補をフィルタリングする再順序付けを実施する。

実験結果

リサーチクエスチョン

• RQ1 統合型ニューラルネットワークアーキテクチャは、読解タスクにおいて論理的否定を含む複数の答え形式を効果的に処理できるか？
• RQ2 単一スパンに制限されないで、モデルが動的に複数の重複のないスパンを予測・抽出できるか？
• RQ3 文脈に配慮した算術式候補の再順序付けは、個別的な数値予測に比べて推論の正確性を向上させるか？
• RQ4 論理的否定とマルチスパン出力をサポートすることで、DROPのような複雑で現実的な読解ベンチマークでの性能向上はどの程度達成できるか？
• RQ5 MTMSNモデルの個々の構成要素は、DROPデータセットにおける全体的な性能向上にどの程度寄与しているか？

主な発見

• MTMSNは、DROPの隠しテストセットにおいて79.9のF1スコアを達成し、前回の最良手法から32.9ポイントの絶対的向上を記録し、新たなSOTAを達成した。
• 開発セットでは、強力なBERTベースのベースラインを13.2 F1ポイント上回り、本モデルの構成要素の有効性を示した。
• アブレーションスタディにより、マルチタイプ予測、マルチスパン抽出、式の再順序付けの各構成要素が性能向上に顕著に寄与していることが確認された。
• エラー解析から、失敗の38％が誤った算術計算に起因していることが判明し、今後の研究における数値的推論の向上の必要性が浮き彫りになった。
• 本モデルは多様な答え形式において優れた性能を示し、特に否定の処理やマルチスパン質問の対応において、従来モデルに比べ顕著な改善が見られた。
• 定性的な分析から、MTMSNは、ソートや減算、否定を含む複雑な質問を効果的に解消できており、従来モデルがしばしば失敗するタスクにおいても優れた性能を発揮することが確認された。