[论文解读] A Benchmark and Scoring Algorithm for Enriching Arabic Synonyms

Sana Ghanem, Mustafa Jarrar+2 more|arXiv (Cornell University)|Feb 4, 2023

Natural Language Processing Techniques被引用 6

一句话总结

本文引入了一个包含3,000个候选同义词的基准数据集，由四位语言学家标注了模糊同义性分数，并提出了一种基于图的算法，用于计算模糊相似度分数以丰富阿拉伯语同义词集。该算法在检索被遮蔽的同义词时表现出高准确率（在第3级达到99.1%），并生成的模糊分数与人类判断高度一致（RMSE: 0.32，MAE: 0.27）。

ABSTRACT

This paper addresses the task of extending a given synset with additional synonyms taking into account synonymy strength as a fuzzy value. Given a mono/multilingual synset and a threshold (a fuzzy value [0-1]), our goal is to extract new synonyms above this threshold from existing lexicons. We present twofold contributions: an algorithm and a benchmark dataset. The dataset consists of 3K candidate synonyms for 500 synsets. Each candidate synonym is annotated with a fuzzy value by four linguists. The dataset is important for (i) understanding how much linguists (dis/)agree on synonymy, in addition to (ii) using the dataset as a baseline to evaluate our algorithm. Our proposed algorithm extracts synonyms from existing lexicons and computes a fuzzy value for each candidate. Our evaluations show that the algorithm behaves like a linguist and its fuzzy values are close to those proposed by linguists (using RMSE and MAE). The dataset and a demo page are publicly available at https://portal.sina.birzeit.edu/synonyms.

研究动机与目标

• 为阿拉伯语等低资源语言的同义性缺乏标准化评估基准的问题提供解决方案。
• 将同义性建模为模糊关系而非二元等价关系，以反映语言细微差别和人类意见分歧。
• 开发一种算法，利用图连通性和模糊逻辑，自动从现有词典中提取并评分新同义词。
• 通过与人工标注的模糊分数对比，评估算法在语言合理性方面的表现。
• 为未来阿拉伯语词汇资源扩展研究提供公开可访问的数据集和演示系统。

提出的方法

• 构建了一个包含500个同义词集和3,000个候选同义词的基准数据集，每个候选同义词均由四位语言学家标注模糊同义性分数（0–1）。
• 基于阿拉伯语WordNet构建有向图，其中节点代表词语，边代表在k=3和k=4层级上的同义/翻译关系。
• 通过识别图中的环路来检测潜在的同义词候选，因为环路表明存在相互同义关系。
• 基于候选词在图中的连通性，使用在人工标注数据集上训练的模糊模型为其分配模糊分数。
• 将人类评分的平均值作为基线，通过RMSE和MAE评估算法性能。
• 通过遮蔽实验评估算法：从同义词集中移除一个词，检查算法是否能以最高模糊分数将其检索出来。

Figure 1: Example of scoring candidate synonyms.

实验结果

研究问题

• RQ1 阿拉伯语中的同义性判断中，语言学家之间的分歧程度如何？其模糊相似度判断的范围是什么？
• RQ2 在丰富阿拉伯语同义词集时，算法能否模拟类人模糊同义性评分？
• RQ3 基于图的同义词发现方法在从阿拉伯语WordNet中检索被遮蔽同义词方面的有效性如何？
• RQ4 词汇在词典中的频率如何影响算法检索其作为同义词的能力？
• RQ5 算法的模糊评分与人工标注评分的相关性有多大？

主要发现

• 语言学家在同义性判断上表现出中等程度的分歧，数据集中RMSE在0.16至0.22之间，MAE在0.12至0.16之间。
• 所提出的算法在与人工标注平均值对比时，均方根误差（RMSE）为0.32，平均绝对误差（MAE）为0.27。
• 在遮蔽实验中，该算法在第3级检索到99.1%的高频词，第4级为95.2%。
• 低频词的准确率下降（第3级为88.4%，第4级为62.0%），表明图中的连通性是性能的关键因素。
• 对于中等频率词，算法保持高准确率（第3级98.7%，第4级92.0%）；对于随机频率词，准确率为98.1%（第3级）和89.3%（第4级）。
• 算法性能高度依赖于底层词典的结构，如阿拉伯语WordNet，且在不同资源配置下可能表现不同。

Figure 2: The cyclic paths for the { \< رَكِبَ> , ride} synset from AWN