[论文解读] FQuAD2.0: French Question Answering and knowing that you know nothing

Quentin Heinrich, G. Viaud+1 more|arXiv (Cornell University)|Sep 27, 2021

Topic Modeling参考文献 19被引用 4

一句话总结

本文提出了 FQuAD2.0，这是首个对抗性法语问答数据集，包含超过 17,000 个难以与可回答问题区分的不可回答问题。该数据集使基于 CamemBERT 的模型能够检测不可回答问题，在不可回答性检测任务上达到 82.3% 的 F1 分数，在阅读理解任务上达到 83% 的 F1 分数，显著推动了法语开放域问答中对不确定性的认知能力。

ABSTRACT

Question Answering, including Reading Comprehension, is one of the NLP research areas that has seen significant scientific breakthroughs over the past few years, thanks to the concomitant advances in Language Modeling. Most of these breakthroughs, however, are centered on the English language. In 2020, as a first strong initiative to bridge the gap to the French language, Illuin Technology introduced FQuAD1.1, a French Native Reading Comprehension dataset composed of 60,000+ questions and answers samples extracted from Wikipedia articles. Nonetheless, Question Answering models trained on this dataset have a major drawback: they are not able to predict when a given question has no answer in the paragraph of interest, therefore making unreliable predictions in various industrial use-cases. In the present work, we introduce FQuAD2.0, which extends FQuAD with 17,000+ unanswerable questions, annotated adversarially, in order to be similar to answerable ones. This new dataset, comprising a total of almost 80,000 questions, makes it possible to train French Question Answering models with the ability of distinguishing unanswerable questions from answerable ones. We benchmark several models with this dataset: our best model, a fine-tuned CamemBERT-large, achieves a F1 score of 82.3% on this classification task, and a F1 score of 83% on the Reading Comprehension task.

研究动机与目标

• 解决在 FQuAD1.1 上训练的法语问答模型存在的关键局限性，即无法检测不可回答问题。
• 构建一个高质量、对抗性构造的法语问答数据集，其中包含在形式和内容上与可回答问题高度相似的现实性不可回答问题。
• 评估对抗性不可回答问题对模型在不可回答性检测和阅读理解任务中性能的影响。
• 将单语法语模型与在英语问答数据上微调的多语言模型进行基准对比，评估跨语言迁移性能。
• 探索在 FQuAD2.0 上训练的模型的可扩展性和泛化能力，包括在工业部署中模型压缩的潜力。

提出的方法

• 对抗性标注超过 17,000 个不可回答问题，使其在语言形式和复杂度上与可回答问题高度相似，确保对模型具有高度挑战性。
• 在原始 FQuAD1.1 数据集基础上添加这些不可回答样本，形成 FQuAD2.0，总计近 80,000 个问题。
• 在 FQuAD2.0 训练集上对不同尺寸的 CamemBERT 模型（base 和 large）进行微调，以同时完成答案可判定性分类和跨度预测任务。
• 使用标准指标在开发集上评估模型性能：阅读理解任务使用 F1 分数，不可回答问题检测任务使用 F1 分数（NoAns F1）。
• 训练并比较在英语 SQuAD2.0 数据上微调的多语言模型（如 mBERT、XLM-RoBERTa），评估其在法语上的零样本或少样本迁移性能。
• 通过改变训练过程中使用的对抗性样本数量，分析学习曲线，以评估数据效率和模型收敛性。

实验结果

研究问题

• RQ1 与仅在可回答问题上训练的模型相比，基于 CamemBERT 的模型在 FQuAD2.0 上训练后，在检测不可回答问题方面的有效性如何？
• RQ2 当模型在包含对抗性不可回答问题的混合数据集上训练时，阅读理解准确率的性能下降程度如何？
• RQ3 在零样本设置下，基于 FQuAD2.0 微调的单语法语模型与在英语问答数据上微调的多语言模型相比，性能表现如何？
• RQ4 FQuAD2.0 在答案可判定性和问题模糊性方面是否比其英文对应版本 SQuAD2.0 更具挑战性？
• RQ5 数据规模对模型性能有何影响？需要多少对抗性样本才能实现最优的检测能力？

主要发现

• 表现最佳的模型——微调后的 CamemBERT LARGE 模型——在阅读理解任务上达到 83% 的 F1 分数，在不可回答问题检测任务上达到 82.3% 的 F1 分数。
• 在 FQuAD2.0 上训练的模型在区分不可回答问题方面表现出明显提升，NoAns F1 分数高达 82.3%，表明其具备强大的不确定性感知预测能力。
• FQuAD2.0 数据集相较于 SQuAD2.0 明显更具挑战性，所有指标表现均更低，尤其在不可回答性检测方面（NoAns F1 比英文对应版本低 17%）。
• 学习曲线表明，随着对抗性样本数量的增加，性能持续提升，表明增加数据量可进一步增强模型鲁棒性。
• 在 FQuAD2.0 上进行单语微调的表现优于从英语多语言模型进行零样本迁移，证明了语言特定数据在实现最优性能方面的优越性。
• 初步结果表明，知识蒸馏和量化等模型压缩技术可实现大型模型在低资源或高吞吐量工业环境中的高效部署。