[论文解读] A Latent Morphology Model for Open-Vocabulary Neural Machine Translation

Duygu Ataman, Wilker Aziz+1 more|arXiv (Cornell University)|Oct 30, 2019

Natural Language Processing Techniques参考文献 51被引用 8

一句话总结

本文提出了一种用于开放词汇神经机器翻译的潜在形态学模型（LMM），该模型通过两种潜在表征逐字生成词语：用于词汇语义的连续向量和用于形态句法功能的近似离散特征。在阿拉伯语、捷克语和土耳其语等形态丰富的语言上，该模型在低资源条件下相比子词和字符级基线模型，性能最高提升0.82 BLEU分，达到当前最先进水平。

ABSTRACT

Translation into morphologically-rich languages challenges neural machine translation (NMT) models with extremely sparse vocabularies where atomic treatment of surface forms is unrealistic. This problem is typically addressed by either pre-processing words into subword units or performing translation directly at the level of characters. The former is based on word segmentation algorithms optimized using corpus-level statistics with no regard to the translation task. The latter learns directly from translation data but requires rather deep architectures. In this paper, we propose to translate words by modeling word formation through a hierarchical latent variable model which mimics the process of morphological inflection. Our model generates words one character at a time by composing two latent representations: a continuous one, aimed at capturing the lexical semantics, and a set of (approximately) discrete features, aimed at capturing the morphosyntactic function, which are shared among different surface forms. Our model achieves better accuracy in translation into three morphologically-rich languages than conventional open-vocabulary NMT methods, while also demonstrating a better generalization capacity under low to mid-resource settings.

研究动机与目标

• 解决形态丰富语言神经机器翻译中的词汇稀疏性问题，其中罕见或未见的词形会阻碍性能表现。
• 克服子词分词方法的局限性，后者依赖语料统计而缺乏语言意识，难以泛化到未见词形。
• 通过使用分层潜在变量建模形态屈折，而非直接进行子词或字符级生成，从而在低资源和中资源条件下提升泛化能力。
• 通过在相同词干的不同表面实现之间共享形态句法特征，实现对未见词形更好的泛化能力。
• 证明无监督潜在变量即使在缺乏显式语言监督的情况下，也能有效捕捉形态句法信息。

提出的方法

• 将词语生成建模为分层过程：逐字生成，条件依赖于两个潜在表征——连续语义向量和近似离散的形态句法特征。
• 采用类似变分自编码器的框架，联合从输入上下文推断词干向量和屈折特征，支持端到端训练。
• 通过词干表征（连续）与屈折特征（离散）的组合来分解词形，这些特征在不同表面形式间共享。
• 通过最大似然估计在平行单语句对上进行训练，优化给定源输入的目标序列对数似然。
• 应用可微松弛（如Gumbel-Softmax）以实现对离散潜在变量的反向传播，从而实现对两种表征的联合优化。
• 采用注意力增强的RNN编码器-解码器架构，输入和输出均为字符级，解码器通过注意力机制关注源句，并利用潜在表征逐步生成目标字符。

实验结果

研究问题

• RQ1 在无显式语言监督的情况下，分层潜在变量模型能否有效捕捉形态丰富语言中的形态句法变异？
• RQ2 与子词或字符级基线相比，通过共享潜在特征建模词语生成是否能提升对罕见或未见词形的泛化能力？
• RQ3 所学习的离散屈折特征在多大程度上对应于有意义的形态类别，如时态、体、格或人称？
• RQ4 在低资源和中资源设置下，模型表现如何，这些设置下数据稀疏性问题最为严重？
• RQ5 模型能否在保持高效解码和对词汇量增长的鲁棒性的同时，实现比子词和字符级NMT模型更高的翻译准确率？

主要发现

• 在低资源条件下，LMM模型在形态丰富语言的翻译任务中，相比子词级NMT模型提升+0.82 BLEU分，相比字符级模型提升+2.54 BLEU分。
• 该模型展现出优越的泛化能力：通过利用共享的潜在形态句法特征，即使对未见词形也能生成正确的屈折形式。
• 消融实验表明，离散屈折特征至关重要——当禁用时，模型会遗漏关键的形态标记，导致表面形式错误。
• 通过仅改变屈折特征向量，模型能成功生成同一词干的多种表面形式（如土耳其语中的“go”），证实这些特征编码了有意义的形态句法差异。
• 当词汇量因领域术语而增加时，该模型仍保持高性能，而字符级模型在数据稀疏条件下性能显著下降。
• 定性分析表明，模型能学习生成正确的形态屈折，如正式/非正式形式、不定式和分词形式，表明潜在特征捕捉到了真实的语言结构。