[论文解读] Implicitly Incorporating Morphological Information into Word Embedding

Yang Xu, Jiawei Liu|arXiv (Cornell University)|Jan 10, 2017

Topic Modeling参考文献 19被引用 15

一句话总结

本文提出了三种新颖的词嵌入模型——MWE-A、MWE-S 和 MWE-M——通过在 CBOW 框架中用词素的语义意义替换词素输入，隐式地将词素意义融入词表示。这些模型在词相似度和句法类比任务上显著优于当前最先进的基线模型，其中 MWE-A 在准确率上比 CBOW 最高提升 7%，并且在五倍大的语料库上达到与 CBOW 相当的性能，即使在最小的数据集上也是如此。

ABSTRACT

In this paper, we propose three novel models to enhance word embedding by implicitly using morphological information. Experiments on word similarity and syntactic analogy show that the implicit models are superior to traditional explicit ones. Our models outperform all state-of-the-art baselines and significantly improve the performance on both tasks. Moreover, our performance on the smallest corpus is similar to the performance of CBOW on the corpus which is five times the size of ours. Parameter analysis indicates that the implicit models can supplement semantic information during the word embedding training process.

研究动机与目标

• 为解决传统词嵌入在捕捉词素结构方面仅限于表层形式的局限性。
• 探究是否通过隐式建模词素意义（而非词素本身）可提升词表示的质量。
• 开发一种方法，通过在训练数据中增加有效的语义信息，提升低资源、词素丰富的语言的语义丰富度。
• 证明隐式整合词素语义可生成更鲁棒且泛化能力更强的词嵌入。

提出的方法

• 所提出的模型将 CBOW 中的输入词素替换为其语义意义，使用预定义的词素-意义映射。
• 基于将词素意义整合到输入层的不同策略，开发了三种变体——MWE-A、MWE-S 和 MWE-M。
• 模型采用负采样进行高效训练，保持 CBOW 的目标函数，同时修改输入表示。
• 构建一个词映射，其中每个词映射到其词素意义的集合，以实现语义词素知识的系统性整合。
• 该方法在向量空间中隐式对齐词素相似的词及其语义意义，促进结构一致性。
• 使用主成分分析（PCA）可视化表明，词素相似的词在嵌入空间中聚集在一起。

实验结果

研究问题

• RQ1 与显式基于词素的模型相比，是否隐式将词素意义融入词嵌入可提升在词相似度和句法类比任务上的性能？
• RQ2 隐式使用词素语义是否能增强训练语料库的语义信息含量，尤其是在低资源环境下？
• RQ3 在不同规模的语料库上，所提出模型与 CBOW 及当前最先进的基线模型相比表现如何？
• RQ4 这些嵌入在向量空间中在多大程度上反映了词素相似性和语义意义？
• RQ5 该方法是否对词素丰富且资源有限的语言具有显著优势？

主要发现

• 所提出的模型，尤其是 MWE-A，在 Wordsim-353 数据集上的词相似度任务中比 CBOW 提高约 5%，在 RG-65 数据集上提高约 7%。
• 在句法类比任务中，MWE-A 比 CBOW 提高约 7%，表明在捕捉句法结构方面有显著提升。
• 在最小语料库上的性能与 CBOW 在五倍大语料库上的表现相当，表明具有强大的数据效率。
• 参数分析表明，与 CBOW 相比，这些模型在不同窗口大小和词元大小下更加稳定，表明其鲁棒性。
• 通过 PCA 的可视化证实，词素相似的词聚集在一起，并且靠近其词素意义在嵌入空间中的位置。
• 在低资源环境下，模型表现出明显优势，因其似乎增加了训练数据中的有效语义信息。