[论文解读] Automatic Spanish Translation of the SQuAD Dataset for Multilingual Question Answering

Casimiro Pio Carrino, Marta R. Costa‐jussà+1 more|arXiv (Cornell University)|Dec 11, 2019

Topic Modeling参考文献 3被引用 42

一句话总结

本文提出 TAR，即自动翻译-对齐-检索管线，用以将 SQuAD v1.1 翻译为西班牙语（SQuAD-es），并用 Multilingual-BERT 训练西班牙语问答，在西班牙语 MLQA 和 XQuAD 基准测试中达到 state-of-the-art 的结果。

ABSTRACT

Recently, multilingual question answering became a crucial research topic, and it is receiving increased interest in the NLP community. However, the unavailability of large-scale datasets makes it challenging to train multilingual QA systems with performance comparable to the English ones. In this work, we develop the Translate Align Retrieve (TAR) method to automatically translate the Stanford Question Answering Dataset (SQuAD) v1.1 to Spanish. We then used this dataset to train Spanish QA systems by fine-tuning a Multilingual-BERT model. Finally, we evaluated our QA models with the recently proposed MLQA and XQuAD benchmarks for cross-lingual Extractive QA. Experimental results show that our models outperform the previous Multilingual-BERT baselines achieving the new state-of-the-art value of 68.1 F1 points on the Spanish MLQA corpus and 77.6 F1 and 61.8 Exact Match points on the Spanish XQuAD corpus. The resulting, synthetically generated SQuAD-es v1.1 corpora, with almost 100% of data contained in the original English version, to the best of our knowledge, is the first large-scale QA training resource for Spanish.

研究动机与目标

• 通过从英语 SQuAD v1.1 生成合成的西班牙语问答数据集，解决缺乏大规模西班牙语问答数据的问题。
• 提出一个模块化的 TAR 流水线，结合 NMT、无监督对齐和答案检索，生成西班牙语的 QA 三元组。
• 在跨语言问答基准 MLQA 和 XQuAD 上评估在 SQuAD-es v1.1 上训练的西班牙语问答模型。
• 展示合成数据质量与数量权衡对多语言问答的有效性。

提出的方法

• 使用大型多语言平行语料库和共享词汇表训练英语→西班牙语的神经机器翻译（NMT）模型。
• 开发一个无监督的上下文层级对齐模型（eflomal/efmaral），用于对齐源文本与翻译文本的上下文。
• 将 (c_src, q_src, a_src) 翻译为 (c_tgt, q_tgt, a_tgt) 并利用对齐检索对应的答案翻译。
• 通过对齐映射答案片段并重新排序以定位 c_tran 中有效的 a_tran，来处理抽取式问答的约束。
• 从 SQuAD v1.1 创建两个西班牙语数据集：SQuAD-es v1.1（全部翻译）和 SQuAD-es-small（无对齐），并包含清理启发式规则。
• 在 SQuAD-es v1.1 上微调 Multilingual-BERT，并在 MLQA 和 XQuAD 上评估。

实验结果

研究问题

• RQ1 自动翻译的问答数据（SQuAD-es）能否使西班牙语问答模型达到最先进的性能？
• RQ2 TAR 生成的数据与无对齐的合成数据在多语言问答训练中的效果有何差异？
• RQ3 翻译质量和对齐准确性如何影响跨语言基准上的问答评估？

主要发现

• 使用 TAR 生成的 SQuAD-es v1.1 训练的模型在西班牙语 MLQA 和 XQuAD 基准上达到最先进的 F1/EM。
• 在 MLQA（西班牙语）中，TAR-train + mBERT 实现 68.1 F1 和 48.3 EM，超越基线，接近 2019 年的最先进水平。
• 在 XQuAD（西班牙语）中，TAR-train + mBERT 实现 77.6 F1 和 61.8 EM，超越之前的 mBERT 基线，接近最佳跨语言模型。
• 使用基于对齐的检索会增加总翻译示例数量，但产生更高的错误率；去除对齐在某些设置中降低规模但提高了精度。
• 与 translate-train 基线相比，TAR-train + mBERT 在 F1（提升 11.6–14.2 点）和 EM（提升 9.8–10.9 点）方面有显著提升。
• SQuAD-es v1.1 数据集提供了大规模的西班牙语问答资源，使西班牙语问答表现稳健，验证了 TAR 方法。