[论文解读] Compositional Morphology for Word Representations and Language Modelling

Jan A. Botha, Phil Blunsom|arXiv (Cornell University)|May 16, 2014

Topic Modeling参考文献 45被引用 150

一句话总结

本文提出了一种组合性形态感知连续空间语言模型（CSLM），将词语表示为词素向量的加法组合，从而提升在形态丰富语言上的性能。通过将这些形态感知的表示整合到对数双线性语言模型中，该方法在俄语和捷克语等形态复杂的语言上，将困惑度降低，并在机器翻译中实现最高达1.2 BLEU点的性能提升。

ABSTRACT

This paper presents a scalable method for integrating compositional morphological representations into a vector-based probabilistic language model. Our approach is evaluated in the context of log-bilinear language models, rendered suitably efficient for implementation inside a machine translation decoder by factoring the vocabulary. We perform both intrinsic and extrinsic evaluations, presenting results on a range of languages which demonstrate that our model learns morphological representations that both perform well on word similarity tasks and lead to substantial reductions in perplexity. When used for translation into morphologically rich languages with large vocabularies, our models obtain improvements of up to 1.2 BLEU points relative to a baseline system using back-off n-gram models.

研究动机与目标

• 解决因丰富语言中形态变化导致的统计语言模型数据稀疏问题。
• 在不依赖手工设计特征的前提下，将形态结构整合到概率连续空间语言模型（CSLM）中。
• 通过组合性向量表示实现有效的词汇外（OOV）词语处理。
• 在低资源和形态复杂的设置下，同时提升内在（词语相似性）和外在（机器翻译）性能。
• 通过高效的因子分解和分类技术，证明模型可扩展并集成到实际的机器翻译解码器中。

提出的方法

• 将词语表示为因子向量的和，其中每个因子对应一个词素（如词干、词缀）或表面形式。
• 使用确定性的形态分割函数 μ 将每个词语映射为可变长度的因子序列。
• 通过加法组合计算词语表示：r̃_v = Σ_{f∈μ(v)} r_f，从而在相关形式之间共享统计强度。
• 将完整表面形式作为因子纳入，以保留非组合性词语形式并打破顺序不变性。
• 应用词语分类以加速推理，使模型能够集成到解码器中，实现端到端机器翻译。
• 使用对数双线性语言模型（LBL）框架进行训练，并采用归一化概率估计以实现高效解码。

实验结果

研究问题

• RQ1 组合性形态表示是否能提升多种语言中的内在词语相似性性能？
• RQ2 与基线n-gram模型和CSLM模型相比，将形态结构整合到连续空间语言模型中是否能降低困惑度？
• RQ3 形态感知语言模型在多大程度上提升了机器翻译质量，特别是在形态复杂的语言中？
• RQ4 在低资源设置下，所学习的词素向量在处理词汇外（OOV）词语方面的有效性如何？
• RQ5 所提出的模型是否能高效集成到实时机器翻译解码器中而不损失性能？

主要发现

• 所提出的 CLBL++ 模型在英俄翻译中相比基线系统最高实现1.2 BLEU点的性能提升，英-捷克翻译中提升1.0 BLEU点，英-西班牙翻译中也取得类似提升。
• 该模型在所有测试语言中均显著降低了困惑度，其中在俄语和捷克语等形态丰富的语言中提升最为显著。
• 在多种语言中，词语相似性与人类评分的相关性得到改善，优于使用更大训练数据的更复杂模型。
• 词素向量的加法组合使OOV词语表示更加有效，尤其对低频和未见词语形式具有显著优势。
• 由于采用了词语分类，将归一化的CSLM集成到cdec解码器中是可行且高效的，实现了实时解码。
• 该模型的性能增益在形态复杂的语言中最为显著，而德语的提升有限，主要受限于双语覆盖范围而非语言模型质量。