[论文解读] FQuAD: French Question Answering Dataset

Martin d’Hoffschmidt, Wacim Belblidia+3 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling参考文献 20被引用 20

一句话总结

本论文提出了FQuAD，这是首个大规模原生法语阅读理解数据集，包含六万多个样本，其问题与答案由维基百科文章人工标注而成。实验表明，经过微调的单语法语模型（如CamemBERT LARGE）在该数据集上达到最先进性能（F1: 92.2，EM: 82.1），超越了测试集上的人类表现，同时揭示了基于翻译的方法在低资源语言上的局限性。

ABSTRACT

Recent advances in the field of language modeling have improved state-of-the-art results on many Natural Language Processing tasks. Among them, Reading Comprehension has made significant progress over the past few years. However, most results are reported in English since labeled resources available in other languages, such as French, remain scarce. In the present work, we introduce the French Question Answering Dataset (FQuAD). FQuAD is a French Native Reading Comprehension dataset of questions and answers on a set of Wikipedia articles that consists of 25,000+ samples for the 1.0 version and 60,000+ samples for the 1.1 version. We train a baseline model which achieves an F1 score of 92.2 and an exact match ratio of 82.1 on the test set. In order to track the progress of French Question Answering models we propose a leader-board and we have made the 1.0 version of our dataset freely available at https://illuin-tech.github.io/FQuAD-explorer/.

研究动机与目标

• 为解决法语阅读理解领域高质量原生法语NLP数据集稀缺的问题，特别是与英语资源的丰富程度相比。
• 通过从维基百科文章中人工标注问题与答案，构建大规模、高质量的法语阅读理解数据集。
• 评估单语与多语种预训练语言模型在原生法语问答基准上的表现。
• 比较低资源语言问答任务中零样本跨语言迁移与基于翻译的微调方法。
• 建立公开基准并配备排行榜，以追踪法语问答研究的进展。

提出的方法

• 通过两阶段标注流程构建FQuAD1.0（25,000+个样本）与FQuAD1.1（60,000+个样本）：第一阶段由大学生完成，第二阶段采用更严格的指南以提升复杂度。
• 从高质量维基百科文章中收集上下文，并由人工标注者基于文本片段生成问题与答案对。
• 在FQuAD数据集上微调最先进的单语法语模型（CamemBERT、FlauBERT）与多语种模型（mBERT、XLM-RoBERTa）。
• 通过在SQuAD1.1上微调模型并在FQuAD1.1上测试，以及反向操作，评估零样本跨语言迁移性能。
• 使用神经机器翻译（NMT）将SQuAD1.1翻译为法语，并在翻译后的数据上微调模型，以与原生训练结果进行对比。
• 采用标准指标：F1分数与精确匹配（EM），评估模型在开发集与测试集上的表现。

实验结果

研究问题

• RQ1 与基于英语的迁移或翻译方法相比，大规模原生法语阅读理解数据集是否能显著提升模型性能？
• RQ2 在原生法语问答基准上，单语法语语言模型与多语种模型的性能表现如何比较？
• RQ3 在未在法语数据上进行微调的情况下，零样本跨语言迁移从英语到法语问答任务的泛化能力有多强？
• RQ4 在翻译后的SQuAD1.1数据上微调是否能获得与在原生法语数据集（如FQuAD）上训练相当的性能？
• RQ5 在FQuAD基准上，人类标注者与最先进模型之间的性能差距有多大？

主要发现

• 表现最佳的模型CamemBERT LARGE在FQuAD1.1测试集上达到F1分数92.2与精确匹配82.1，超越了人类表现（F1: 91.2，EM: 75.9）。
• 人类在FQuAD1.1开发集上的表现达到F1分数92.1与EM 78.3，表明该基准质量较高。
• 多语种模型（如XLM-R LARGE）在零样本跨语言迁移中表现强劲，当仅在SQuAD1.1上微调时，其在FQuAD上的表现接近英语人类水平。
• 使用翻译后的SQuAD1.1数据的基于翻译的方法未能达到原生FQuAD的性能，表明翻译数据存在性能上限与质量差距。
• 在原生法语训练数据中加入翻译样本，并未提升在原生评估集上的性能，表明翻译数据无法替代原生标注。
• 单语法语模型在相似参数规模下优于多语种模型，表明针对特定语言的预训练在原生问答任务中具有显著优势。