[论文解读] Synthetic QA Corpora Generation with Roundtrip Consistency

Chris Alberti, Daniel Andor+3 more|arXiv (Cornell University)|Jun 12, 2019

Topic Modeling参考文献 15被引用 12

一句话总结

本文提出一种通过往返一致性过滤生成高质量合成问答语料的方法，其中问题从上下文生成，答案则从同一上下文抽取，仅保留原始答案与预测答案一致的样本对。该方法在 NQ 上实现最先进性能，在 SQuAD2 上达到接近人类水平的表现，通过在合成数据上微调 BERT 基础模型实现。

ABSTRACT

We introduce a novel method of generating synthetic question answering corpora by combining models of question generation and answer extraction, and by filtering the results to ensure roundtrip consistency. By pretraining on the resulting corpora we obtain significant improvements on SQuAD2 and NQ, establishing a new state-of-the-art on the latter. Our synthetic data generation models, for both question generation and answer extraction, can be fully reproduced by finetuning a publicly available BERT model on the extractive subsets of SQuAD2 and NQ. We also describe a more powerful variant that does full sequence-to-sequence pretraining for question generation, obtaining exact match and F1 at less than 0.1% and 0.4% from human performance on SQuAD2.

研究动机与目标

• 开发一种从无标注文本生成大规模、高质量合成问答数据集的方法。
• 通过在一致性过滤机制生成的合成数据上进行预训练，提升问答模型性能。
• 通过利用自监督数据生成，减少对昂贵人工标注 QA 数据集的依赖。
• 探究具有往返一致性特征的合成数据是否能在下游 QA 基准测试中超越传统预训练方法。

提出的方法

• 该方法首先使用预训练的答案抽取模型 p(a|c;θA) 从上下文 C 中提取答案 A。
• 然后使用问题生成模型 p(q|c,a;θQ) 从 C 和 A 生成问题 Q。
• 再使用问答模型 p(a|c,q;θA′) 从 C 和 Q 预测答案 A′。
• 仅保留 A 与 A′ 匹配的三元组作为有效合成训练样本，确保往返一致性。
• 将合成数据用于预训练问答模型，随后在 SQuAD2 和 NQ 等人工标注数据集上进行微调。
• 探索了两种变体：一种是所有组件均使用微调后的 BERT；另一种是问题生成部分采用完整的序列到序列预训练。

实验结果

研究问题

• RQ1 通过往返一致性过滤生成的合成问答对是否能提升下游 QA 性能？
• RQ2 与未过滤的合成数据相比，往返一致性过滤在模型性能上表现如何？
• RQ3 来自一个 QA 数据集（如 SQuAD2）的合成数据在多大程度上能提升另一个数据集（如 NQ）的性能？
• RQ4 合成数据生成能在多大程度上使模型性能接近 SQuAD2 上的人类水平表现？
• RQ5 与微调 BERT 进行问题生成相比，采用完整的序列到序列预训练进行问题生成是否能取得更好结果？

主要发现

• 在通过往返一致性过滤的合成数据上进行预训练，显著提升了 SQuAD2 和 NQ 上的性能，尤其在 NQ 上，与人类表现的差距显著缩小。
• 在 NQ 短答案任务中，模型与人类表现的差距相对减少了 50%，与人类集成模型的差距相对减少了 10%。
• 采用集成方法的完整预训练方案，在 SQuAD2 上的精确匹配和 F1 分别与人类表现相差 0.1% 和 0.4%。
• 往返过滤一致显著提升了模型性能，人工检查显示，过滤后的样本中 39% 正确，而被丢弃的样本仅 16% 正确。
• 在合成 SQuAD2 和 NQ 数据的并集上进行预训练，显著提升了 SQuAD2 的性能，但对 NQ 的性能无提升。
• 该合成数据生成流程可通过在 SQuAD2 和 NQ 的抽取子集上微调公开可用的 BERT 模型实现完全可复现。