[论文解读] A Joint Model for Word Embedding and Word Morphology

Kris Cao, Marek Rei|arXiv (Cornell University)|Jun 8, 2016

Topic Modeling参考文献 23被引用 6

一句话总结

该论文提出一种联合模型，通过基于上下文预测能力对词段进行加权，同时学习词嵌入与形态分割。该模型在句法类比任务中优于词级模型，并通过在字符级别显式建模形态学，为罕见且形态复杂的词生成了更优的词嵌入。

ABSTRACT

This paper presents a joint model for performing unsupervised morphological analysis on words, and learning a character-level composition function from morphemes to word embeddings. Our model splits individual words into segments, and weights each segment according to its ability to predict context words. Our morphological analysis is comparable to dedicated morphological analyzers at the task of morpheme boundary recovery, and also performs better than word-based embedding models at the task of syntactic analogy answering. Finally, we show that incorporating morphology explicitly into character-level models help them produce embeddings for unseen words which correlate better with human judgments.

研究动机与目标

• 通过显式建模形态学，解决词嵌入模型在罕见词或未登录词上的稀疏性问题。
• 通过从词素学习组合表征，克服将词视为原子单元的局限性。
• 通过结合字符级建模与形态分割，提升对未见词的泛化能力。
• 证明形态学与词嵌入的联合学习可提升嵌入空间中的语义与句法规律性。
• 评估模型作为形态分析器的性能，以及其在罕见、形态丰富的词上的泛化能力。

提出的方法

• 该模型将输入词拆分为候选词段，并根据其预测上下文词的能力为每个词段分配权重。
• 通过可微注意力机制组合加权的词素段，形成词表征。
• 模型端到端训练，以最大化预测上下文词的可能性，利用分布假设。
• 形态分割在无需外部形态分析器的情况下学习，使模型具备无监督与语言无关性。
• 该架构使用字符级表征，并结合可微的分割机制，使反向传播能够通过词段边界。
• 训练完成后，模型可通过将未见词分解为已知词素并组合其嵌入，实现对未见词的泛化。

实验结果

研究问题

• RQ1 联合模型是否能在不依赖外部形态分析器的情况下学习到有意义的形态分割？
• RQ2 与标准字符级模型相比，显式在字符级模型中建模形态学是否能提升句法类比任务的性能？
• RQ3 与词级和字符级基线相比，该模型在罕见或未见的形态丰富词上的泛化能力如何？
• RQ4 所学嵌入空间中，形态词缀在多大程度上对应于线性向量位移？
• RQ5 该模型的词分割能力是否与人类对形态结构的判断相关？

主要发现

• 该模型在形态丰富的词上实现了与专用形态分析器相当的词素边界恢复准确率。
• 在 Google 类比数据集上，该模型在句法类比任务中表现具有竞争力（如形容词到副词），准确率达 51.3%，优于字符级基线。
• 在语义类比任务中，该模型表现弱于词级模型，表明其在捕捉深层语义关系方面存在局限。
• 与标准字符级模型相比，该模型为未见词生成了更优的词嵌入，且与人类判断的相关性更高。
• 当过滤掉罕见词后，形态复杂词在嵌入空间中的最近邻更具语义一致性，表明罕见词表征中存在拼写偏差。
• 该模型学习到词缀化对应于嵌入空间中的线性位移，证明其具备捕捉形态规律的能力。