[论文解读] Character-based Neural Machine Translation

Ling Wang, Isabel Trancoso+2 more|arXiv (Cornell University)|Nov 14, 2015

Natural Language Processing Techniques参考文献 26被引用 211

一句话总结

本文提出了一种基于字符的神经机器翻译模型，通过字符构建词表示，并逐字符生成目标词，从而实现对未见词形的有效翻译。该模型在性能上与基于词的模型相当，同时消除了对显式词汇表预处理的需求，并支持开放词汇表翻译。

ABSTRACT

We introduce a neural machine translation model that views the input and output sentences as sequences of characters rather than words. Since word-level information provides a crucial source of bias, our input model composes representations of character sequences into representations of words (as determined by whitespace boundaries), and then these are translated using a joint attention/translation model. In the target language, the translation is modeled as a sequence of word vectors, but each word is generated one character at a time, conditional on the previous character generations in each word. As the representation and generation of words is performed at the character level, our model is capable of interpreting and generating unseen word forms. A secondary benefit of this approach is that it alleviates much of the challenges associated with preprocessing/tokenization of the source and target languages. We show that our model can achieve translation results that are on par with conventional word-based models.

研究动机与目标

• 解决基于词的神经机器翻译在处理OOV词和依赖预处理方面的局限性。
• 探究尽管先前假设性能较差，基于字符的建模是否仍能实现具有竞争力的翻译性能。
• 实现端到端翻译，使模型能泛化到源语言和目标语言中未见的词形变化。
• 通过仅显式建模字符来减少对预定义词汇表的依赖，提升可扩展性。

提出的方法

• 模型使用双向LSTM（BLSTM）编码源句，词表示通过分层架构从字符级嵌入组合而成。
• 词表示通过使用字符级编码器对词内字符序列进行编码，再通过BLSTM生成词级上下文表示来生成。
• 目标词通过自回归方式逐字符生成，条件依赖于词内先前生成的字符和源语言上下文。
• 在解码过程中，通过注意力机制对齐源词和目标词，注意力计算基于源词表示。
• 模型使用词开始（SOW）和词结束（EOW）标记来定义字符序列中的词边界。
• 词级表示被映射到连续空间，并通过字符级解码器生成目标词，从而实现形态学泛化。

实验结果

研究问题

• RQ1 基于字符的神经机器翻译模型能否实现与基于词的模型相当的性能？
• RQ2 该模型能否在源语言和目标语言中有效泛化到未见的词形？
• RQ3 基于字符的建模是否能减少对预处理和词汇表大小限制的依赖？
• RQ4 模型从字符级组合中学习形态学模式的能力如何？
• RQ5 自回归字符生成机制在多大程度上支持开放词汇表翻译？

主要发现

• 基于字符的模型在标准基准测试上实现了与最先进基于词的模型相当的翻译性能。
• 该模型成功翻译了未知词，如形态变体（例如，'subsidisation' → 'subsídio'），展示了对训练词汇表之外的泛化能力。
• 通过从字符级模式中学习葡萄牙语复数规则，模型正确生成了复数形式（例如，'reconstrução' → 'reconstruções'）。
• 对于罕见或未见的词，模型会生成合理但错误的形式（例如，'subsidade' 而非 'subsídio'），表明通过预训练可进一步提升性能。
• 字符级生成机制保留了词间依赖关系，例如由前面的限定词触发的正确复数形式。
• 该模型减少了对显式词级词汇表和预处理的依赖，支持可扩展的开放词汇表翻译。