[论文解读] Improving Machine Reading Comprehension with Single-choice Decision and Transfer Learning

Yufan Jiang, Shuangzhi Wu+6 more|arXiv (Cornell University)|Nov 6, 2020

Topic Modeling参考文献 17被引用 7

一句话总结

本文提出了一种用于多选机器阅读理解（MMRC）的单选决策框架，其中每个答案选项通过二分类独立评估，而非联合多选建模。通过利用来自多种MRC数据集的迁移学习以及AutoML超参数调优，该方法在RACE基准上取得了最先进结果——单模型准确率为90.7%，集成模型准确率为91.4%，超越了包括Megatron-BERT在内的先前模型。

ABSTRACT

Multi-choice Machine Reading Comprehension (MMRC) aims to select the correct answer from a set of options based on a given passage and question. Due to task specific of MMRC, it is non-trivial to transfer knowledge from other MRC tasks such as SQuAD, Dream. In this paper, we simply reconstruct multi-choice to single-choice by training a binary classification to distinguish whether a certain answer is correct. Then select the option with the highest confidence score. We construct our model upon ALBERT-xxlarge model and estimate it on the RACE dataset. During training, We adopt AutoML strategy to tune better parameters. Experimental results show that the single-choice is better than multi-choice. In addition, by transferring knowledge from other kinds of MRC tasks, our model achieves a new state-of-the-art results in both single and ensemble settings.

研究动机与目标

• 解决多选机器阅读理解（MMRC）任务中的数据稀缺与性能不佳问题。
• 探究将答案选项独立建模（单选）是否优于联合多选建模。
• 研究来自多样化MRC数据集（如SQuAD、CoQA、ARC、DREAM）的知识能否有效迁移以提升MMRC性能。
• 评估AutoML与网络爬取数据对模型在RACE基准上泛化能力与准确率的影响。

提出的方法

• 将多选MRC重新构架为一系列二分类任务，其中每个选项独立评估其正确性。
• 使用ALBERT-xxlarge作为基础编码器，表示篇章、问题和候选答案。
• 训练一个二分类器，预测每个选项是否正确（正例）或错误（负例），正例来自其他MRC数据集。
• 通过在RACE上微调，利用SQuAD2.0、ARC、CoQA、DREAM以及额外的网络爬取MRC数据，实施迁移学习。
• 采用AutoML策略优化超参数，提升模型泛化能力与性能。
• 选择置信度最高的选项作为最终预测，避免对所有选项进行联合优化。

实验结果

研究问题

• RQ1 在MMRC任务中，将答案选项独立建模（单选）是否比联合多选建模表现更优？
• RQ2 来自多样化抽取式与多选式MRC数据集的知识能否有效迁移以提升在RACE基准上的性能？
• RQ3 AutoML超参数优化在多大程度上提升了模型在RACE上的性能？
• RQ4 引入网络爬取的MRC数据对模型准确率与鲁棒性有何影响？
• RQ5 通过有效的迁移学习与优化，单模型能否实现与集成模型相当的最先进性能？

主要发现

• 在RACE测试集上，单选模型相比基线多选模型准确率提升0.8个百分点（87.9% vs. 87.1%）。
• 从其他MRC数据集（SQuAD2.0、ARC、CoQA、DREAM）进行迁移学习，性能提升0.4个百分点，达到88.3%。
• 经过AutoML超参数调优，单模型准确率达到90.0%，超过Megatron-BERT的89.5%单模型结果。
• 引入网络爬取的MRC数据后，单模型准确率提升至90.7%，创下新SOTA记录。
• 集成模型达到91.4%的准确率，为发表时RACE排行榜上的最高结果。
• 所提方法展现出更优的数据效率与可扩展性，能够有效利用多样化、非MMRC的MRC数据集。