[论文解读] A Computational Approach to Measuring the Semantic Divergence of Cognates

Ana Sabina Uban, Alina-Maria Ciobanu+1 more|arXiv (Cornell University)|Dec 2, 2020

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了一种基于跨语言词嵌入的方法，用于定量测量相关语言（特别是 Romance 语言和拉丁语）中词源同源词之间的语义分歧。该方法引入了一个框架，用于检测误同源词（即语义分歧的同源词），区分‘硬性’和‘软性’误同源词，并提供纠正建议，在人工验证的数据集上达到了最高 88.46% 的召回率。

ABSTRACT

Meaning is the foundation stone of intercultural communication. Languages are continuously changing, and words shift their meanings for various reasons. Semantic divergence in related languages is a key concern of historical linguistics. In this paper we investigate semantic divergence across languages by measuring the semantic similarity of cognate sets in multiple languages. The method that we propose is based on cross-lingual word embeddings. In this paper we implement and evaluate our method on English and five Romance languages, but it can be extended easily to any language pair, requiring only large monolingual corpora for the involved languages and a small bilingual dictionary for the pair. This language-agnostic method facilitates a quantitative analysis of cognates divergence -- by computing degrees of semantic similarity between cognate pairs -- and provides insights for identifying false friends. As a second contribution, we formulate a straightforward method for detecting false friends, and introduce the notion of "soft false friend" and "hard false friend", as well as a measure of the degree of "falseness" of a false friends pair. Additionally, we propose an algorithm that can output suggestions for correcting false friends, which could result in a very helpful tool for language learning or translation.

研究动机与目标

• 开发一种语言无关的方法，用于量化相关语言中同源词对之间的语义分歧。
• 利用跨语言词嵌入自动检测 Romance 语言中同源词对的误同源词（即语义分歧的同源词）。
• 引入‘硬性’与‘软性’误同源词之间的区分，并定义一种‘虚假性’度量以提升检测效果。
• 为误同源词提供纠正建议算法，以支持语言学习和翻译系统。
• 在多种 Romance 语言和英语上评估该方法，使用人工和 WordNet 基金的黄金标准。

提出的方法

• 该方法使用在大规模单语语料库上训练的跨语言词嵌入，以及少量双语词典，计算同源词对之间的语义相似度。
• 通过跨语言对之间的词嵌入成对相似度度量来衡量语义分歧。
• 分类器使用嵌入相似度得分作为特征，以区分真正的同源词与误同源词。
• 该框架引入了一种‘虚假性’度量，以量化误同源词对的误导程度，从而实现对‘硬性’与‘软性’误同源词的区分。
• 对于纠正建议，模型利用嵌入空间中的邻近性，推荐上下文中语义最合适的词语。
• 评估同时使用人工整理的测试集和基于 WordNet 的黄金标准，以验证在多个语言对上的性能。

实验结果

研究问题

• RQ1 如何利用跨语言词嵌入定量测量相关语言中同源词之间的语义分歧？
• RQ2 跨语言词嵌入在多大程度上能够检测 Romance 语言中同源词对的误同源词？
• RQ3 能否通过嵌入相似度有意义地定义并测量‘硬性’与‘软性’误同源词之间的区别？
• RQ4 与现有方法相比，该方法在识别和建议纠正误同源词方面的有效性如何？
• RQ5 该语义分歧度量是否与既定的语言关系历史分类一致？

主要发现

• 在 Romance 语言对中，西班牙语和葡萄牙语表现出最高的语义相似度，表明其语义分歧程度最低。
• 罗马尼亚语与拉丁语的语义分歧最大，可能由于其在地理和历史上海离拉丁语语言核心较远。
• 在人工验证的英语-西班牙语误同源词检测任务中，该方法达到了 88.46% 的召回率，表明在识别误同源词方面表现强劲。
• 在基于 WordNet 的评估中，该方法在英语-葡萄牙语对上实现了 77.25% 的准确率，精确率和召回率反映出中等至高水平的性能。
• 基于语义分歧的聚类结果生成了与公认的 Romance 语言历史树一致的层级结构。
• 尽管英语主要通过借词从拉丁语继承词汇，其与拉丁语的语义相似度仍与现代 Romance 语言相近，表明存在共同的语义演化路径。