[论文解读] Evaluation of Morphological Embeddings for English and Russian Languages

Vitaly Romanov, Albina Khusainova|arXiv (Cornell University)|Mar 11, 2021

Topic Modeling参考文献 21被引用 6

一句话总结

该论文在英语和俄语上对基于形态的词嵌入（MorphGram）与SkipGram和FastText进行了评估，采用内在评估（BATS、类比）和下游任务（词性标注、名词短语切分、跨语言映射）。结果表明，MorphGram的平均表现介于SkipGram与FastText之间，且在各项任务中均无一致的性能提升，说明在此设置下，形态感知嵌入并无稳定优势。

ABSTRACT

This paper evaluates morphology-based embeddings for English and Russian languages. Despite the interest and introduction of several morphology-based word embedding models in the past and acclaimed performance improvements on word similarity and language modeling tasks, in our experiments, we did not observe any stable preference over two of our baseline models - SkipGram and FastText. The performance exhibited by morphological embeddings is the average of the two baselines mentioned above.

研究动机与目标

• 评估形态基于的词嵌入是否能提升英语和俄语在内在和下游自然语言处理任务中的性能。
• 将形态感知模型MorphGram与成熟的基线模型SkipGram和FastText进行比较。
• 评估形态信息对词相似性、类比、词性标注、名词短语切分以及跨语言嵌入映射的影响。
• 确定形态嵌入在低资源或形态丰富的语言设置（如俄语）中是否具有优势。
• 测试词素级组合是否能超越子词n-gram建模，提升表示质量。

提出的方法

• 使用Morfessor提供的词素级分词，通过求和组合词素向量，以SkipGram目标训练MorphGram。
• 使用BATS数据集和类比推理任务评估内在语义和句法相似性。
• 使用种子词典，通过监督式词嵌入映射（vecmap）对齐英语和俄语的嵌入空间。
• 仅使用词嵌入作为输入特征，训练一个简单的CNN模型用于词性标注和名词短语切分。
• 在Conll2000（英语）和一个含458个词性标签的俄语语料库上进行评估，训练固定轮次（英语50轮，俄语20轮）。
• 使用1-NN和10-NN准确率衡量在MUSE提供的词典上的跨语言映射性能。

实验结果

研究问题

• RQ1 在内在评估中，将形态分词整合到词嵌入是否能持续提升性能，优于SkipGram和FastText？
• RQ2 形态嵌入在英语和俄语的下游任务（如词性标注和名词短语切分）中表现如何？
• RQ3 形态嵌入能否改善英语与俄语之间的跨语言词嵌入映射？
• RQ4 在形态丰富的语言（如俄语）中，形态建模是否相比子词n-gram建模（FastText）具有可测量的优势？
• RQ5 形态嵌入是否在多种评估类型中优于或至少不逊于语义模型（SkipGram）和字符级模型（FastText）？

主要发现

• 在BATS数据集上，MorphGram在类比推理任务中达到32.71%的准确率，介于英语的SkipGram（29.67%）和FastText（33.33%）之间。
• 在英语句法类比任务中，MorphGram得分为61.16%，介于SkipGram（55.88%）和FastText（75.10%）之间。
• 在俄语语义类比任务中，MorphGram得分为34.69%，介于SkipGram（39.11%）和FastText（25.59%）之间。
• 在跨语言映射（ru-en）中，MorphGram的1-NN准确率为53.51%，略低于SkipGram（56.27%）和FastText（55.58%），表明形态信息未带来优势。
• 在词性标注任务中，SkipGram在英语上表现最佳（0.9824），而FastText在俄语上最优（0.8899），MorphGram表现居中（0.8871）。
• 在名词短语切分任务中，FastText在两种语言上均达到最高准确率（英语0.9034，俄语0.8548），MorphGram再次表现居中（英语0.8985，俄语0.8534）。