[论文解读] Adversarial Domain Adaptation for Machine Reading Comprehension

Huazheng Wang, Zhe Gan+4 more|arXiv (Cornell University)|Aug 24, 2019

Topic Modeling参考文献 51被引用 6

一句话总结

本文提出 AdaMRC，一种用于无监督机器阅读理解的对抗性域自适应框架，通过为未标注的目标域文本生成伪问题，并利用对抗性训练学习域不变表示。该方法在不同领域间提升了 MRC 性能，且与 BERT 和 ELMo 等模型兼容，在 SQuAD、NewsQA 和 MS MARCO 数据集上均表现出一致的性能提升。

ABSTRACT

In this paper, we focus on unsupervised domain adaptation for Machine Reading Comprehension (MRC), where the source domain has a large amount of labeled data, while only unlabeled passages are available in the target domain. To this end, we propose an Adversarial Domain Adaptation framework (AdaMRC), where ($i$) pseudo questions are first generated for unlabeled passages in the target domain, and then ($ii$) a domain classifier is incorporated into an MRC model to predict which domain a given passage-question pair comes from. The classifier and the passage-question encoder are jointly trained using adversarial learning to enforce domain-invariant representation learning. Comprehensive evaluations demonstrate that our approach ($i$) is generalizable to different MRC models and datasets, ($ii$) can be combined with pre-trained large-scale language models (such as ELMo and BERT), and ($iii$) can be extended to semi-supervised learning.

研究动机与目标

• 解决将 MRC 模型从高资源源领域迁移到仅有未标注文本的低资源目标领域时的挑战。
• 克服直接在目标领域数据上微调时因领域分布差异导致的性能下降问题。
• 开发一种可泛化的框架，在无需目标领域标注数据的前提下提升模型迁移能力。
• 实现与预训练语言模型（如 BERT、ELMo）及半监督学习设置的兼容性。
• 提升 MRC 模型在低资源域自适应场景下的鲁棒性与性能。

提出的方法

• 使用问题生成模型为未标注的目标域文本生成合成的问答对。
• 在 MRC 模型中集成一个域分类器，用于区分源域与目标域样本。
• 通过对抗性学习联合训练文本-问题编码器与域分类器，以强制学习域不变表示。
• 利用对抗性训练最小化领域特异性特征，同时保留与任务相关的 MRC 信号。
• 将人工标注的源域数据与生成的目标域数据联合用于 MRC 模型训练。
• 通过引入少量标注的目标域数据，将框架扩展至半监督学习设置。

实验结果

研究问题

• RQ1 当仅拥有未标注的目标域文本时，对抗性域自适应能否提升从源域到目标域的 MRC 性能？
• RQ2 所提方法在无目标域标注数据的情况下，学习域不变表示的有效性如何？
• RQ3 AdaMRC 在不同 MRC 架构与数据集上的泛化能力如何？
• RQ4 AdaMRC 是否能有效结合 BERT、ELMo 等预训练语言模型？
• RQ5 当仅有少量标注的目标域数据可用时（半监督设置），该框架是否仍具有效性？

主要发现

• AdaMRC 在 SQuAD、NewsQA 和 MS MARCO 上，对多种 MRC 模型均持续优于基线方法。
• 即使仅使用未标注的目标域数据，该框架仍能显著提升性能，证明了其在无监督域自适应中的有效性。
• AdaMRC 与预训练模型具有强兼容性：与 BERT 和 ELMo 结合后均观察到性能提升。
• 在半监督设置下，当目标域标注数据有限（如 20% 或以下）时，AdaMRC 的表现优于基线 SAN 模型。
• 随着目标域标注数据的增加，AdaMRC 与监督基线模型之间的性能差距逐渐缩小，证实了该方法在低资源场景下的有效性。