[論文レビュー] MMM: Multi-stage Multi-task Learning for Multi-choice Reading Comprehension

Di Jin, Shuyang Gao+3 more|arXiv (Cornell University)|Oct 1, 2019

Topic Modeling参考文献 29被引用数 13

ひとこと要約

本稿では、まずドメイン外の自然言語推論（NLI）データセットで粗微調整し、その後大規模なドメイン内MCQAデータセット（RACE）を用いたマルチタスク学習による微調整を行うことで、多肢選択型読解理解の性能を向上させるマルチステージマルチタスク学習フレームワークMMMを提案する。この手法は最先端性能を達成し、4つのMCQAデータセットにおいてBERTベースのモデルを最低7%の絶対的正確率向上を達成しており、特に推論および算術的問題においては先行SOTAを16%上回る。

ABSTRACT

Machine Reading Comprehension (MRC) for question answering (QA), which aims to answer a question given the relevant context passages, is an important way to test the ability of intelligence systems to understand human language. Multiple-Choice QA (MCQA) is one of the most difficult tasks in MRC because it often requires more advanced reading comprehension skills such as logical reasoning, summarization, and arithmetic operations, compared to the extractive counterpart where answers are usually spans of text within given passages. Moreover, most existing MCQA datasets are small in size, making the learning task even harder. We introduce MMM, a Multi-stage Multi-task learning framework for Multi-choice reading comprehension. Our method involves two sequential stages: coarse-tuning stage using out-of-domain datasets and multi-task learning stage using a larger in-domain dataset to help model generalize better with limited data. Furthermore, we propose a novel multi-step attention network (MAN) as the top-level classifier for this task. We demonstrate MMM significantly advances the state-of-the-art on four representative MCQA datasets.

研究の動機と目的

• 多肢選択型読解理解（MCQA）におけるラベル付きデータの限界に取り組むこと。ここでは、既存のデータセットが小さく、高度な推論スキルを要する。
• 効果的な転移学習戦略を通じて、低リソースMCQAデータセットにおけるBERTベースのモデルの一般化性能を向上させること。
• ドメイン外のNLIデータセットとドメイン内の大規模MCQAデータセットからの知識を統合的に活用することで性能向上が可能かどうかを検証すること。
• MCQAにおける複雑な推論パターンをよりよく捉えるために、新たなトップレベル分類器、すなわちマルチステップアテンションネットワーク（MAN）を設計すること。
• 2段階のトレーニング戦略（NLIで粗微調整した後、RACEおよびターゲットデータセットでマルチタスク微調整）がMCQAベンチマークで優れた性能を示すことを実証すること。

提案手法

• 2段階のトレーニング戦略を適用する：まず、ドメイン外のNLIデータセット（例：MNLI）でモデルを粗微調整し、一般化された推論および文脈帰納スキルを学習する。
• 次に、大規模なドメイン内RACEデータセットとターゲットMCQAデータセット（例：DREAM, MCTest, TOEFL, SemEval）の組み合わせを用いてマルチタスク微調整を実施し、データ不足下での一般化性能を向上させる。
• 複雑なアテンションフローを、本文、質問、選択肢の間でモデル化するために、トップレベル分類器としてマルチステップアテンションネットワーク（MAN）を導入し、従来の全結合層に置き換える。
• 本文、質問、候補となる回答の入力を連結したものを入力とし、BERTまたはRoBERTaをベースエンコーダとして使用する。
• 選択肢の多クラス分類のための交差エントロピー損失を最適化することで、エンドツーエンドでモデルを最適化する。
• ドメイン特化型のデータ拡張および知識蒸留技術を活用し、さらにモデルの頑健性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン外のNLIデータセットで粗微調整することで、低リソースMCQAタスクにおけるBERTベースのモデルの推論能力が向上するか？
• RQ2 大規模なドメイン内MCQAデータセット（RACE）とターゲットデータセットを組み合わせたマルチタスク微調整は、標準的な微調整よりも一般化性能が向上するか？
• RQ3 提案されたマルチステップアテンションネットワーク（MAN）は、従来のフィードフォワード分類器と比較して、MCQAにおける複雑な推論パターンをどれほど効果的に捉えられるか？
• RQ4 2段階のトレーニング戦略は、単一段階の微調整や他の転移学習アプローチに比べて、MCQAベンチマークでどれほど優れているか？
• RQ5 モデルは異なる質問タイプ（例：論理的推論、算術、常識的推論）においてどのように性能を発揮するか。また、その失敗モードは何か？

主な発見

• MMMフレームワークは、4つのMCQAデータセット（DREAM, MCTest, TOEFL, SemEval）すべてにおいて、BERT-baseモデルを最低7%の絶対的正確率向上を達成しており、特に先行SOTAを16%上回る。
• 2段階のトレーニング戦略（NLIで粗微調整した後、RACEおよびターゲットデータセットでマルチタスク微調整）が最適なアプローチであることが示され、単一段階の微調整を著しく上回る。
• マルチステップアテンションネットワーク（MAN）は、従来の全結合分類器よりも優れた性能を発揮し、特に複雑な推論および一致問題において顕著である。
• 算術的問題では顕著な改善が見られ、正確率が73.7%（ベースラインから）に上昇した。また、一致問題においても改善が顕著である。
• 算術的問題においては高い正確率を達成しているが、質問や本文のわずかな変更に対して脆弱であるため、真の数学的推論ではなく、パターンマッチングに依存している可能性がある。
• 誤差解析により、BERT-baseベースラインで顕著に見られた誤った予測タイプのエラーが顕著に減少しており、特に論理的推論および常識的推論分野で顕著である。