[论文解读] Character-based NMT with Transformer

Rohit Gupta, Laurent Besacier+2 more|arXiv (Cornell University)|Nov 12, 2019

Natural Language Processing Techniques参考文献 43被引用 8

一句话总结

本文研究基于字符的神经机器翻译（NMT）在Transformer架构下的表现，表明通过预归一化和透明注意力机制，更深的模型可缩小与BPE基模型之间的性能差距。结果表明，字符级模型在噪声和领域分布偏移下更具鲁棒性，尤其在低资源设置下表现优异，在WMT-ENDE上达到34.7 BLEU的性能，使用32层编码器。

ABSTRACT

Character-based translation has several appealing advantages, but its performance is in general worse than a carefully tuned BPE baseline. In this paper we study the impact of character-based input and output with the Transformer architecture. In particular, our experiments on EN-DE show that character-based Transformer models are more robust than their BPE counterpart, both when translating noisy text, and when translating text from a different domain. To obtain comparable BLEU scores in clean, in-domain data and close the gap with BPE-based models we use known techniques to train deeper Transformer models.

研究动机与目标

• 评估基于字符的NMT在Transformer架构下与BPE基模型的性能对比。
• 探究更深的Transformer架构是否能够缩小字符级与BPE基模型之间的性能差距。
• 评估字符级模型在词汇噪声和领域分布偏移下的鲁棒性。
• 分析词汇表大小与模型深度在低资源与高资源设置下对翻译质量的影响。

提出的方法

• 使用字符级输入和输出标记训练Transformer模型，而非子词单元（BPE）。
• 应用预归一化（在子层之前进行层归一化）以稳定深层模型的训练过程。
• 引入透明注意力机制以改善深层编码器中的梯度流动。
• 训练不同深度（6至32层）的模型，以评估深度对性能的影响。
• 在WMT-ENDE和IWSLT-TED上评估模型在干净与噪声测试条件下的表现。
• 使用不同BPE词汇表（5k、30k）与字符级模型对比，评估表示效率。

实验结果

研究问题

• RQ1 更深的Transformer模型能否缩小字符级与BPE基NMT之间的BLEU分数差距？
• RQ2 在词汇噪声条件下，字符级NMT相较于BPE基模型表现如何？
• RQ3 字符级NMT是否在分布外测试数据上比BPE基模型具有更好的泛化能力？
• RQ4 模型深度与归一化顺序对字符级NMT训练稳定性与性能有何影响？
• RQ5 不同词汇表大小在低资源与高资源设置下对性能有何影响？

主要发现

• 通过预归一化与透明注意力机制，字符级Transformer模型在低资源设置下的WMT-ENDE上达到34.7 BLEU，相比浅层模型的33.7 BLEU显著提升。
• 在高资源设置下，字符级模型在32层编码器下达到37.7 BLEU，性能差距已缩小，但未超越BPE 30k基线（38.0 BLEU）。
• 字符级模型在干净测试数据上对词汇噪声表现出更优的鲁棒性，无需微调即优于BPE模型。
• 当训练数据中存在类似噪声时，大词汇表BPE模型（如30k）表现如同经过正则化，反而在干净输入上性能提升。
• 字符级模型在领域偏移数据上显著优于BPE模型，尤其在低资源设置下，于WMT-Biomedical（OOV率最高）上展现出更优的泛化能力。
• 预归一化与透明注意力机制的结合，实现了32层编码器的稳定训练，解决了深层字符级Transformer中的梯度问题。