[论文解读] Baselines and test data for cross-lingual inference

Żeljko Agić, Natalie Schluter|arXiv (Cornell University)|Apr 18, 2017

Topic Modeling参考文献 24被引用 8

一句话总结

本论文提出了首个用于跨语言自然语言蕴涵（NLI）的多语言测试数据集和基线模型，将SNLI基准扩展至阿拉伯语、法语、俄语和西班牙语。该研究评估了两种方法——多语言词嵌入与机器翻译——其中基于翻译的迁移方法取得了75.5%的最佳平均准确率，为低资源语言NLI的未来研究奠定了基础。

ABSTRACT

The recent years have seen a revival of interest in textual entailment, sparked by i) the emergence of powerful deep neural network learners for natural language processing and ii) the timely development of large-scale evaluation datasets such as SNLI. Recast as natural language inference, the problem now amounts to detecting the relation between pairs of statements: they either contradict or entail one another, or they are mutually neutral. Current research in natural language inference is effectively exclusive to English. In this paper, we propose to advance the research in SNLI-style natural language inference toward multilingual evaluation. To that end, we provide test data for four major languages: Arabic, French, Spanish, and Russian. We experiment with a set of baselines. Our systems are based on cross-lingual word embeddings and machine translation. While our best system scores an average accuracy of just over 75%, we focus largely on enabling further research in multilingual inference.

研究动机与目标

• 将SNLI风格的自然语言蕴涵基准从英语扩展至多语言环境，以支持多语言研究。
• 通过提出跨语言NLI的迁移学习基线，解决低资源语言训练数据匮乏的问题。
• 在四种主要语言中创建人工精心校对的测试集，以实现对跨语言蕴涵系统标准化评估。
• 评估多语言词嵌入与机器翻译作为跨语言NLI迁移方法的有效性。
• 提供开放获取的多语言测试数据与词嵌入，以支持未来在低资源语言NLI方面的研究。

提出的方法

• 作者通过将英文SNLI测试集中的1,332对前提-假设对人工翻译成阿拉伯语、法语、俄语和西班牙语，构建了多语言测试数据。
• 评估了两种主要的跨语言适应策略：(1) 使用通过翻译矩阵映射训练的多语言词嵌入；(2) 使用神经机器翻译系统将所有目标语言输入翻译成英语。
• 基线模型采用Bowman等人（2015）提出的基于神经注意力的架构，仅依赖词嵌入，并在英语SNLI训练数据上进行训练。
• 多语言词嵌入通过在单语词嵌入上应用翻译矩阵技术生成，辅以双语词典以对齐跨语言的词向量。
• 在基于翻译的方法中，系统将目标语言句子翻译成英语，并应用原始英语NLI模型预测蕴涵、矛盾或中性关系。
• 性能通过整体准确率和各类别（蕴涵、矛盾、中性）的F1分数进行评估，并在不同语言与方法间进行比较。

实验结果

研究问题

• RQ1 多语言词嵌入能否有效将英语的NLI能力迁移至阿拉伯语、法语、俄语和西班牙语等低资源语言？
• RQ2 基于机器翻译的适应方法与基于词嵌入的迁移方法在跨语言NLI中表现如何比较？
• RQ3 平行语料规模对多语言词嵌入系统在跨语言NLI中性能的影响是什么？
• RQ4 自动翻译的测试集在跨语言评估中作为人工校对多语言测试集的代理，其可靠性如何？
• RQ5 源端词嵌入的质量在多大程度上影响跨语言NLI系统的性能？

主要发现

• 表现最佳的系统基于将目标语言翻译成英语，其在四种目标语言上的平均准确率达到75.5%。
• 使用随机初始化的多语言词嵌入方法平均准确率为59.6%，其中invert与ratio方法分别达到58.1%与57.4%。
• 基于翻译的方法优于所有基于词嵌入的方法，F1分数分别为：法语68.73，西班牙语66.98，阿拉伯语64.17，俄语60.61。
• 随机初始化的多语言词嵌入系统表现出强烈的蕴涵预测偏见，其F1分数比矛盾与中性类别高出约9%。
• 学习曲线表明，性能在约100万条平行句子后趋于稳定，暗示当前多语言词嵌入方法存在数据上限。
• 用自动翻译版本替代人工校对的测试集，平均使真实准确率被低估2.57%，其中阿拉伯语的误差更大（-7%），主要由于翻译质量较低。