[論文レビュー] Improving Machine Reading Comprehension with Single-choice Decision and Transfer Learning

Yufan Jiang, Shuangzhi Wu+6 more|arXiv (Cornell University)|Nov 6, 2020

Topic Modeling参考文献 17被引用数 7

ひとこと要約

本稿では、多選択機械読解（MMRC）のための単一選択意思決定フレームワークを提案する。各回答選択肢を独立して二値分類によって評価する一方で、複数選択を同時にモデル化するのではなく、個別に評価することで、従来のアプローチとは異なる手法を採用する。多様なMRCデータセットからの転移学習とAutoMLによるハイパーパramータチューニングを活用することで、RACEベンチマークで最先端の結果を達成した。単一モデルで90.7%の正確性、アンサンブルで91.4%の正確性を達成し、Megatron-BERTを上回った。

ABSTRACT

Multi-choice Machine Reading Comprehension (MMRC) aims to select the correct answer from a set of options based on a given passage and question. Due to task specific of MMRC, it is non-trivial to transfer knowledge from other MRC tasks such as SQuAD, Dream. In this paper, we simply reconstruct multi-choice to single-choice by training a binary classification to distinguish whether a certain answer is correct. Then select the option with the highest confidence score. We construct our model upon ALBERT-xxlarge model and estimate it on the RACE dataset. During training, We adopt AutoML strategy to tune better parameters. Experimental results show that the single-choice is better than multi-choice. In addition, by transferring knowledge from other kinds of MRC tasks, our model achieves a new state-of-the-art results in both single and ensemble settings.

研究の動機と目的

• 多選択機械読解（MMRC）タスクにおけるデータ不足と性能の劣化を是正すること。
• 回答選択肢を独立してモデル化する（単一選択）アプローチが、統合的多選択モデル化を上回る性能を発揮するかどうかを検証すること。
• SQuAD、CoQA、ARC、DREAMなどの多様なMRCデータセットからの知識が、MMRCの性能向上に効果的に転送可能かどうかを調査すること。
• AutoMLとウェブクロールされたデータが、RACEベンチマークにおけるモデルの汎化性能と正確性に与える影響を評価すること。

提案手法

• 多選択MRCを、各選択肢を正誤を独立して評価する二値分類タスクに再定式化する。
• パassage、質問、候補回答を表現するためにALBERT-xxlargeをベースエンコーダーとして使用する。
• 他のMRCデータセットからの正例を用いて、各選択肢が正解（ポジティブ）か不正解（ネガティブ）かを予測する二値分類器を学習する。
• SQuAD2.0、ARC、CoQA、DREAM、および追加のウェブクロールMRCデータを用いて、RACE上でファインチューニングすることで転移学習を実施する。
• モデルの汎化性能と性能向上を図るために、AutoML戦略を用いてハイパーパramータを最適化する。
• 最終予測として、信頼度スコアが最も高い選択肢を選択する。全選択肢の最適化を同時に行うのを回避する。

実験結果

リサーチクエスチョン

• RQ1 多選択MRCタスクにおいて、回答選択肢を独立してモデル化する（単一選択）アプローチが、統合的多選択モデル化を上回る性能を発揮するか？
• RQ2 抽出型および多選択型MRCデータセット（例：SQuAD、CoQA、ARC、DREAM）からの知識が、RACEベンチマークにおける性能向上に効果的に転送可能か？
• RQ3 AutoMLによるハイパーパramータチューニングが、RACEにおけるモデル性能をどの程度向上させるか？
• RQ4 ウェブクロールされたMRCデータの統合が、モデルの正確性と頑健性に与える影響は何か？
• RQ5 効果的な転移学習と最適化により、単一モデルがアンサンブルモデルと同等の最先端性能を達成できるか？

主な発見

• 単一選択モデルは、RACEテストセットにおいてベースライン多選択モデルを0.8ポイント上回り、87.9%対87.1%の正確性を達成した。
• SQuAD2.0、ARC、CoQA、DREAMなどの他のMRCデータセットからの転移学習により、性能が0.4ポイント向上し、88.3%の正確性を達成した。
• AutoMLによるハイパーパramータチューニングを適用した単一モデルは、90.0%の正確性を達成し、Megatron-BERTの単一モデル結果（89.5%）を上回った。
• ウェブクロールされたMRCデータを統合することで、単一モデルの正確性は90.7%にまで向上し、新たな最先端水準を樹立した。
• アンサンブルモデルは91.4%の正確性を達成し、論文発表時におけるRACEリーダーボードで最高の結果を記録した。
• 提案手法は、データ効率性とスケーラビリティに優れ、多様で非MMRCのMRCデータセットを効果的に活用できることが示された。