[论文解读] PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification

Yinfei Yang, Yuan Zhang+2 more|arXiv (Cornell University)|Aug 30, 2019

Topic Modeling参考文献 12被引用 13

一句话总结

PAWS-X 在六种语言——法语、西班牙语、德语、中文、日语和韩语——中引入了一个跨语言对抗性数据集，包含 23,659 个由人工翻译的释义识别配对，源自原始的 PAWS 英文数据集。该研究表明，通过在英文数据及机器翻译的训练样本上微调多语言 BERT 模型，可实现最先进性能，平均准确率较次优模型高出 23%，凸显了深度多语言预训练的有效性，并为未来研究留下了巨大提升空间。

ABSTRACT

Most existing work on adversarial data generation focuses on English. For example, PAWS (Paraphrase Adversaries from Word Scrambling) consists of challenging English paraphrase identification pairs from Wikipedia and Quora. We remedy this gap with PAWS-X, a new dataset of 23,659 human translated PAWS evaluation pairs in six typologically distinct languages: French, Spanish, German, Chinese, Japanese, and Korean. We provide baseline numbers for three models with different capacity to capture non-local context and sentence structure, and using different multilingual training and evaluation regimes. Multilingual BERT fine-tuned on PAWS English plus machine-translated data performs the best, with a range of 83.1-90.8 accuracy across the non-English languages and an average accuracy gain of 23% over the next best model. PAWS-X shows the effectiveness of deep, multilingual pre-training while also leaving considerable headroom as a new challenge to drive multilingual research that better captures structure and contextual information.

研究动机与目标

• 解决非英语语言中高质量对抗性释义识别数据的缺乏问题。
• 创建一个基准，用于测试模型在跨语言情境下捕捉句法结构和语境意义的能力。
• 评估多语言迁移学习与跨语言迁移策略的有效性。
• 为零样本、翻译后预测以及多语言微调方法的比较提供标准化测试平台。

提出的方法

• 由人工翻译者为六种语言的开发集和测试集生成高质量的释义判断。
• 使用神经机器翻译（NMT）服务将完整的 PAWS 英文训练集翻译成六种目标语言。
• 所得数据集保留了原始 PAWS 配对中的高词汇重叠度与语义相似性判断，确保对抗性难度。
• 采用多种训练与评估策略（零样本、翻译后预测、合并多语言微调）对基线模型（包括 BERT、ESIM 和词袋模型）进行评估。
• 通过准确率和 AUC-PR 分数衡量性能，模型选择基于开发集表现。
• 通过评估不同语言间标签的一致性，开展错误分析，以识别模糊或标注错误的样本。

实验结果

研究问题

• RQ1 多语言模型在非英语释义识别任务中，面对对抗性样本时的泛化能力如何？
• RQ2 在多语言设置下，使用机器翻译数据进行训练是否优于零样本迁移？
• RQ3 在语法类型差异显著的语言中（尤其是印欧语系与 CJK 语言），性能差异如何变化？
• RQ4 模型在跨语言释义识别中对句法结构和词序敏感度的捕捉程度如何？
• RQ5 多语言预训练对模型在跨语言情境下的鲁棒性与泛化能力有何影响？

主要发现

• 在英文数据及机器翻译训练样本上微调的多语言 BERT 模型，在六种非英语语言上的平均准确率达到 83.1%–90.8%，优于所有其他模型。
• 表现最佳的模型（BERT-merged）相较次优模型实现了 23% 的平均准确率提升，证明了多语言预训练的有效性。
• 在印欧语系语言（德语、法语、西班牙语）上的表现持续高于 CJK 语言（中文、日语、韩语），尤其在零样本设置下差距最为显著。
• 翻译后预测策略优于零样本迁移，而使用合并多语言数据进行训练则带来了最高性能提升，相较零样本设置实现了 8.6% 的绝对准确率提升。
• 在 1,972 个测试样本中，有 61.7% 的样本在所有六种语言中均被正确分类，表明大多数样本在跨语言情境下均具有一致挑战性。
• 错误分析显示，有 32 个样本在所有语言中均分类失败，其中许多是由于原始 PAWS 数据中存在翻译噪声或模糊/错误的黄金标签。