[论文解读] Frustratingly Easy Natural Question Answering

Lin Pan, Rishav Chakravarti+6 more|arXiv (Cornell University)|Sep 11, 2019

Topic Modeling参考文献 24被引用 15

一句话总结

本论文表明，一种简单的迁移学习方法——在 SQuAD 上微调 BERT 后，再在 Natural Questions (NQ) 数据集上进行微调——在 NQ 上实现了最先进性能，优于此前在 400 万个额外合成样本上训练的 SOTA 系统。通过将该方法与数据增强和集成策略相结合，作者在短答案任务上取得了 59.71 的 F1，在长答案任务上取得了 70.84 的 F1，创下新的 SOTA 纪录。

ABSTRACT

Existing literature on Question Answering (QA) mostly focuses on algorithmic novelty, data augmentation, or increasingly large pre-trained language models like XLNet and RoBERTa. Additionally, a lot of systems on the QA leaderboards do not have associated research documentation in order to successfully replicate their experiments. In this paper, we outline these algorithmic components such as Attention-over-Attention, coupled with data augmentation and ensembling strategies that have shown to yield state-of-the-art results on benchmark datasets like SQuAD, even achieving super-human performance. Contrary to these prior results, when we evaluate on the recently proposed Natural Questions benchmark dataset, we find that an incredibly simple approach of transfer learning from BERT outperforms the previous state-of-the-art system trained on 4 million more examples than ours by 1.9 F1 points. Adding ensembling strategies further improves that number by 2.3 F1 points.

研究动机与目标

• 探究仅通过 BERT 在 SQuAD v2.0 上进行简单迁移学习，是否可在 Natural Questions (NQ) 基准上实现最先进性能，该基准相比先前数据集更具少偏见性。
• 评估数据增强和集成策略在不依赖大规模合成数据集的前提下，对机器阅读理解（MRC）性能的提升效果。
• 提供透明、可复现的集成技术，以提升在 NQ 上的性能，解决先前 SOTA 系统缺乏文档记录的问题。
• 证明算法复杂性并非实现 SOTA 结果的必要条件，挑战了当前 MRC 领域中模型和数据规模持续扩大的趋势。

提出的方法

• 在 NQ 数据集上微调之前，先在 SQuAD v2.0 上微调 BERT，利用迁移学习提升泛化能力。
• 在微调过程中，在 BERT 上添加 Attention-over-Attention (AoA) 层，以增强上下文注意力机制。
• 使用所有 BERT 层表示的线性组合，而非仅依赖最后一层，以改善表示学习。
• 通过打乱训练样本实施数据增强，以提升模型鲁棒性和泛化能力。
• 采用多种集成策略，包括随机种子集成、贪心搜索和穷举搜索，以结合来自不同模型配置的预测结果。
• 应用不同的聚合策略——最大值、噪声或、倒数排名和、指数和——以处理预测中重复的答案跨度。

实验结果

研究问题

• RQ1 在 SQuAD v2.0 上进行简单迁移学习策略，是否能在 NQ 基准上超越更复杂的模型？
• RQ2 通过打乱训练样本进行数据增强，是否可在不使用合成数据的前提下提升 MRC 性能？
• RQ3 集成多种模型配置（包括性能较低的变体），是否能比仅集成最佳模型的不同随机种子版本获得更好的泛化能力？
• RQ4 在 NQ 的短答案和长答案任务中，哪种重复答案跨度的聚合策略能获得最高的 F1？
• RQ5 模型架构和预训练策略（如 BERT WWM、BERT SSPT）的选择，在多大程度上影响在 NQ 上的最终性能？

主要发现

• 一种简单的两阶段迁移学习方法——先在 SQuAD v2.0 上微调 BERT，再在 NQ 上微调——在短答案任务上取得 57.15 的 F1，在长答案任务上取得 67.08 的 F1，优于此前在 400 万个合成样本上训练的 SOTA 系统。
• 在 BERT 微调流程中加入 Attention-over-Attention (AoA) 层后，NQ 开发集上的短答案 F1 提升至 57.22，长答案 F1 提升至 68.24。
• 集成四个使用不同随机种子训练的模型，使短答案 F1 提升 2.59 分（从 56.14 提升至 58.73），长答案 F1 提升 2.51 分（从 67.10 提升至 69.61）。
• 通过针对长答案 F1 优化的贪心搜索模型集成，短答案 F1 达到 59.71，长答案 F1 达到 70.84，优于穷举搜索和其他聚合方法。
• 采用最大值聚合处理短答案、噪声或聚合处理长答案的组合策略，取得最佳整体性能，开发测试集上短答案 F1 为 59.71，长答案 F1 为 70.84。
• 最终集成模型结合了 BERT WWM + SQuAD 2 PT + AoA、BERT WWM + SQuAD 2 PT 和 BERT SSPT，实现了 NQ 上的新 SOTA，证明当合理集成时，多样化的、性能较低的模型也能显著提升整体性能。