[论文解读] Challenge Dataset of Cognates and False Friend Pairs from Indian Languages

Diptesh Kanojia, Pushpak Bhattacharyya+2 more|arXiv (Cornell University)|Dec 17, 2021

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了一项具有挑战性的、高质量的基准数据集，涵盖12种印度语言中的真同源词与假朋友，该数据集通过数字化一部历史同源词词典并利用关联的印度词网（Indian Wordnets）构建而成。作者通过词典学家对数据进行验证，公开发布了该数据集，并表明现有同源词与假朋友检测方法在该数据集上的表现欠佳，凸显了其在低资源印度语言环境下提升机器翻译、跨语言检索及系统发生分析等自然语言处理系统方面的实用价值。

ABSTRACT

Cognates are present in multiple variants of the same text across different languages (e.g., "hund" in German and "hound" in English language mean "dog"). They pose a challenge to various Natural Language Processing (NLP) applications such as Machine Translation, Cross-lingual Sense Disambiguation, Computational Phylogenetics, and Information Retrieval. A possible solution to address this challenge is to identify cognates across language pairs. In this paper, we describe the creation of two cognate datasets for twelve Indian languages, namely Sanskrit, Hindi, Assamese, Oriya, Kannada, Gujarati, Tamil, Telugu, Punjabi, Bengali, Marathi, and Malayalam. We digitize the cognate data from an Indian language cognate dictionary and utilize linked Indian language Wordnets to generate cognate sets. Additionally, we use the Wordnet data to create a False Friends' dataset for eleven language pairs. We also evaluate the efficacy of our dataset using previously available baseline cognate detection approaches. We also perform a manual evaluation with the help of lexicographers and release the curated gold-standard dataset with this paper.

研究动机与目标

• 创建一个高质量、经人工筛选的12种印度语言同源词与假朋友的基准数据集，以支持自然语言处理研究。
• 解决在具有共同语言谱系的印度语言对中，同源词与假朋友检测缺乏基准数据集的问题。
• 在比以往更复杂、更贴近现实的基准数据集上，评估现有自动同源词与假朋友检测方法的性能。
• 公开发布该数据集，以支持跨语言应用中NLP模型的改进训练与评估。
• 为未来关于部分同源词及更广泛自然语言处理任务的整合工作奠定基础。

提出的方法

• 由词典学家手动标注词网同义词集ID，对12种印度语言的《Tatsama Shabda Kosha》同源词词典进行数字化处理。
• 利用关联的印度词网，基于语言对之间的语义与拼写对齐，生成真同源词集合（数据集D2）。
• 通过每对语言的两名标注者进行人工验证，报告了标注者间一致性与百分比一致性。
• 从词网数据中提取假朋友对，以印地语为源语言，其他11种印度语言为目标语言。
• 使用先前研究中的标准指标与超参数，评估现有同源词与假朋友检测方法在新数据集上的表现。
• 通过GitHub仓库公开所有数据集，以支持可复现性与进一步研究。

实验结果

研究问题

• RQ1 当应用于更具复杂性的新印度语言同源词数据集时，现有自动同源词检测方法的有效性如何？
• RQ2 当前的假朋友检测方法在具有共同语源的印度语言对中，其泛化能力如何？
• RQ3 经人工筛选的同源词与假朋友数据集能否作为低资源印度语言环境下训练与评估NLP模型的可靠基准？
• RQ4 当测试数据集保留形态复杂性与真实世界词汇变异时，现有方法的性能如何变化？
• RQ5 语言直觉与跨语言词嵌入在检测印度语言间假朋友方面有何影响？

主要发现

• 与以往基准报告的性能相比，现有同源词检测方法在新数据集上的表现显著下降，表明该数据集更具挑战性。
• ? ) 提出的方法在大多数语言对上表现最佳，但整体性能仍较低，表明其在处理形态丰富的印度语言方面存在局限。
• 在印地语-泰卢固语对中，另一种方法表现最佳，表明不同语言对在可检测性方面存在显著差异。
• 假朋友检测方法的表现低于其在西班牙语-葡萄牙语对上的表现，表明需要更优的语言建模或跨语言词嵌入。
• 基线方法与基准标注之间的一致性较低，证实了该数据集作为具有挑战性的基准的实用价值。
• 作者结论认为，该数据集比以往的基准更具真实感与挑战性，适合作为训练印度语言稳健NLP系统的测试平台。