[论文解读] FarsTail: A Persian Natural Language Inference Dataset

Hossein Amirkhani, Mohammad AzariJafari+4 more|arXiv (Cornell University)|Sep 18, 2020

Natural Language Processing Techniques被引用 15

一句话总结

本文提出了 FarsTail，这是首个大规模波斯语自然语言推理（NLI）数据集，包含 10,367 个样本，通过一种最小化标注、多步骤的构建流程，从多项选择题中生成，该流程受 SciTail 启发。表现最佳的模型 mBERT 在测试集上达到 83.38% 的准确率，表明仍有显著的提升空间，同时揭示了模型所利用的数据集偏差。

ABSTRACT

Natural language inference (NLI) is known as one of the central tasks in natural language processing (NLP) which encapsulates many fundamental aspects of language understanding. With the considerable achievements of data-hungry deep learning methods in NLP tasks, a great amount of effort has been devoted to develop more diverse datasets for different languages. In this paper, we present a new dataset for the NLI task in the Persian language, also known as Farsi, which is one of the dominant languages in the Middle East. This dataset, named FarsTail, includes 10,367 samples which are provided in both the Persian language as well as the indexed format to be useful for non-Persian researchers. The samples are generated from 3,539 multiple-choice questions with the least amount of annotator interventions in a way similar to the SciTail dataset. A carefully designed multi-step process is adopted to ensure the quality of the dataset. We also present the results of traditional and state-of-the-art methods on FarsTail including different embedding methods such as word2vec, fastText, ELMo, BERT, and LASER, as well as different modeling approaches such as DecompAtt, ESIM, HBMP, and ULMFiT to provide a solid baseline for the future research. The best obtained test accuracy is 83.38% which shows that there is a big room for improving the current methods to be useful for real-world NLP applications in different languages. We also investigate the extent to which the models exploit superficial clues, also known as dataset biases, in FarsTail, and partition the test set into easy and hard subsets according to the success of biased models. The dataset is available at https://github.com/dml-qom/FarsTail

研究动机与目标

• 为解决波斯语（法尔西语）等低资源语言缺乏高质量本地方言 NLI 数据集的问题，波斯语在伊朗、阿富汗和塔吉克斯坦共约 1.1 亿人使用。
• 通过系统化、多步骤的数据生成流程，构建一个大规模、高质量的波斯语 NLI 数据集，以最小化人工标注偏差。
• 为波斯语 NLP 模型的评估提供基准，推动多语言及低资源语言理解的研究。
• 通过识别简单模型所利用的模式，分析 FarsTail 数据集中的偏差，并基于这些偏差将测试集划分为简单和困难子集。

提出的方法

• 从 3,539 道多项选择题中生成 NLI 样本，每个前提（premise）生成三个假设：一个用于蕴含（正确答案），一个用于矛盾（错误答案），一个用于中性（与前提无关的网络片段）。
• 使用网络片段确保蕴含和中性假设基于真实世界知识，提升自然性并减少人工合成的缺陷。
• 采用四步标注与过滤流程：由一名标注员进行初始标注，随后进行四轮独立重标注，仅保留至少五人中有四人达成一致的样本。
• 实施多阶段质量控制协议，包括对被拒绝样本的重新处理与重标注，以确保数据质量。
• 在数据集上训练并评估多种模型，包括 word2vec、fastText、ELMo、BERT、LASER、DecompAtt、ESIM、HBMP 和 ULMFiT，以建立强大的基线。
• 使用两种简单模型分析数据集偏差：一种仅基于假设内容，另一种基于前提与假设之间的重叠（余弦相似度），并利用其预测结果将测试集划分为简单与困难子集。

实验结果

研究问题

• RQ1 现有深度学习模型在新引入的大规模波斯语 NLI 数据集上的表现如何？可以建立怎样的性能基准？
• RQ2 当前最先进模型在多大程度上利用了 FarsTail 数据集中的表面偏差，如词汇重叠或仅基于假设的模式？
• RQ3 不同模型架构与嵌入方法在 FarsTail 数据集上的表现如何？哪些组合能取得最高准确率？
• RQ4 能否基于有偏差模型的预测，有意义地将测试集划分为简单与困难子集？模型在这些子集上的表现有何差异？
• RQ5 数据集偏差对模型泛化能力有何影响？如何改进波斯语 NLP 的分布外（out-of-distribution）评估？

主要发现

• 在 FarsTail 上表现最佳的模型 mBERT 达到 83.38% 的测试准确率，表明波斯语 NLI 模型仍有巨大提升空间。
• 仅基于假设内容的简单模型达到 55.31% 的准确率，且在中性类别上表现最佳，表明假设内容本身已提供一定预测信号。
• 基于余弦相似度的重叠模型（前提与假设向量之间的相似度）达到 56.46% 的准确率，显示出对中性与蕴含/矛盾对的更好区分能力。
• 497 个（占 32%）测试样本被两个有偏差模型均判定为简单，而 313 个（占 20%）被均判定为困难，表明两种模型捕捉到了不同的偏差模式。
• 模型在困难子集上的性能显著下降，尤其是基于重叠的模型，表明模型更依赖词汇重叠而非假设特异性模式。
• 结果证实，模型性能的很大一部分源于对数据集偏差（尤其是词汇重叠）的利用，而非深层语义理解。