[论文解读] Co-occurrences using Fasttext embeddings for word similarity tasks in Urdu

Usama Khalid, Aizaz Hussain+3 more|arXiv (Cornell University)|Feb 22, 2021

Topic Modeling参考文献 25被引用 7

一句话总结

本文提出在大规模、精心整理的乌尔都语语料库（COUNTER）上训练的 FastText 和 n-gram 词嵌入，以提升低资源乌尔都语自然语言处理中的词相似度任务。结果表明，FastText 在 SimLex-999 上的表现优于现有 skip-gram 嵌入模型（Spearman r = 0.743），但在 WordSim-353 上表现较差，凸显了构建更大、更高质量乌尔都语语料库以缩小与英语模型性能差距的必要性。

ABSTRACT

Urdu is a widely spoken language in South Asia. Though immoderate literature exists for the Urdu language still the data isn't enough to naturally process the language by NLP techniques. Very efficient language models exist for the English language, a high resource language, but Urdu and other under-resourced languages have been neglected for a long time. To create efficient language models for these languages we must have good word embedding models. For Urdu, we can only find word embeddings trained and developed using the skip-gram model. In this paper, we have built a corpus for Urdu by scraping and integrating data from various sources and compiled a vocabulary for the Urdu language. We also modify fasttext embeddings and N-Grams models to enable training them on our built corpus. We have used these trained embeddings for a word similarity task and compared the results with existing techniques.

研究动机与目标

• 为解决乌尔都语这一低资源语言在自然语言处理中缺乏高质量、公开可用的词嵌入问题。
• 通过整合来自多种新闻来源的数据，构建一个大规模、统一的乌尔都语语料库，以支持稳健的词嵌入训练。
• 通过调整预处理流程和超参数，将 FastText 和 n-gram 模型适配乌尔都语，以应对乌尔都语的形态复杂性。
• 在标准词相似度基准测试（SimLex-999 和 WordSim-353）上评估训练所得嵌入模型的性能，并与现有 skip-gram 模型进行比较。
• 将训练好的嵌入模型、代码和数据集公开发布，以加速乌尔都语自然语言处理研究。

提出的方法

• 通过网络爬取并整合来自巴基斯坦多个新闻机构的 1200 篇新闻文档，构建了一个大规模乌尔都语语料库（COUNTER）。
• 使用自定义工具和 FastText 内置工具对语料库进行预处理，包括句子分割、分词和停用词移除。
• 使用默认超参数训练 FastText 嵌入模型：向量维度 = 100，训练轮数 = 5，初始学习率 = 0.05，子词 n-gram 长度 = 3–6。
• 仅以连续词数（n-gram）作为唯一超参数，训练 n-gram 模型，聚焦于词语共现模式。
• 使用斯皮尔曼等级相关系数评估模型性能，比较预测相似度得分与人工标注的相似度得分在乌尔都语翻译版 SimLex-999 和 WordSim-353 数据集上的相关性。
• 使用 iJunior 的翻译服务将英文版的 SimLex-999 和 WordSim-353 数据集翻译为乌尔都语，用于评估。

实验结果

研究问题

• RQ1 在大规模、精心整理的乌尔都语语料库上训练的 FastText 嵋入是否能在乌尔都语词相似度任务上超越现有的 skip-gram 模型？
• RQ2 在乌尔都语词相似度任务背景下，基于 n-gram 的词语共现模型与分布式嵌入模型的性能相比如何？
• RQ3 所提出的乌尔都语词嵌入在标准相似度基准测试中的表现，与预训练的英语 FastText 嵌入相比，能达到何种程度的匹配？
• RQ4 语料库规模和质量对低资源语言（如乌尔都语）词嵌入有效性的影响力如何？

主要发现

• FastText 嵌入在乌尔都语翻译版 SimLex-999 数据集上达到 0.743 的斯皮尔曼等级相关系数，优于 skip-gram 基线模型（r = 0.293）。
• n-gram 模型在 SimLex-999 上的皮尔逊相关系数仅为 0.156，在 WordSim-353 上为 0.188，表明其在乌尔都语词相似度任务中效果有限。
• FastText 在 WordSim-353 上略逊于 skip-gram 模型（r = 0.462 vs. 0.492），表明其性能存在任务特异性差异。
• FastText 嵌入在乌尔都语上的表现仍显著落后于英语 FastText 模型（r = 0.84），表明仍有巨大改进空间。
• 本研究证明，通过适当的预处理和语料库整理，FastText 可有效适配乌尔都语，并在 SimLex-999 上取得最先进结果。
• 作者已将训练好的嵌入模型、代码和数据集发布在 GitHub 上，以支持可复现性及未来乌尔都语自然语言处理研究。