[论文解读] Enriching the Transformer with Linguistic and Semantic Factors for Low-Resource Machine Translation.

Jordi Armengol-Estapé, Marta R. Costa‐jussà+1 more|arXiv (Cornell University)|Apr 17, 2020

Natural Language Processing Techniques被引用 2

一句话总结

本文提出了一种改进的Transformer架构——因子Transformer（Factored Transformer），通过将语言学和语义因子整合到模型中，以提升低资源机器翻译性能。通过在嵌入层或编码器层使用不同的组合策略，将外部知识以因子形式注入，该方法在IWSLT德语到英语翻译任务上实现了+0.8 BLEU的提升，在FLoRes英语到尼泊尔语任务上实现了+1.2 BLEU的提升，其中语言学因子的表现优于语义因子。

ABSTRACT

Introducing factors, that is to say, word features such as linguistic information referring to the source tokens, is known to improve the results of neural machine translation systems in certain settings, typically in recurrent architectures. This study proposes enhancing the current state-of-the-art neural machine translation architecture, the Transformer, so that it allows to introduce external knowledge. In particular, our proposed modification, the Factored Transformer, uses factors, either linguistic or semantic, that insert additional knowledge into the machine translation system. Apart from using different kinds of features, we study the effect of different architectural configurations. Specifically, we analyze the performance of combining words and features at the embedding level or at the encoder level, and we experiment with two different combination strategies. With the best-found configuration, we show improvements of 0.8 BLEU over the baseline Transformer in the IWSLT German-to-English task. Moreover, we experiment with the more challenging FLoRes English-to-Nepali benchmark, which includes both extremely low-resourced and very distant languages, and obtain an improvement of 1.2 BLEU. These improvements are achieved with linguistic and not with semantic information.

研究动机与目标

• 通过引入外部语言学和语义知识来增强Transformer架构，以提升低资源机器翻译性能。
• 探究不同架构配置（特别是将词与因子在嵌入层与编码器层进行组合）对翻译性能的影响。
• 评估在低资源环境下，语言学因子与语义因子的有效性差异。
• 识别能够最大化低资源场景下翻译性能提升的最优因子组合策略。
• 证明在基于注意力机制的Transformer框架中集成结构化语言学知识的可行性和有效性。

提出的方法

• 提出因子Transformer，一种改进的Transformer架构，将外部因子（如词性标注或语义嵌入）作为额外输入。
• 在嵌入层或编码器层集成因子，支持不同的架构配置。
• 采用两种不同的组合策略：拼接（concatenation）与逐元素相加（element-wise addition），以融合词表示与因子表示。
• 在低资源翻译任务上进行端到端训练，包括IWSLT和FLoRes基准测试。
• 使用语言学特征（如词性标注）和语义特征（如词嵌入）作为外部知识来源。
• 通过标准低资源翻译基准测试的BLEU分数评估模型性能。

实验结果

研究问题

• RQ1 将语言学和语义因子整合到Transformer架构中，对低资源环境下的翻译性能有何影响？
• RQ2 在嵌入层组合因子是否比在编码器层组合因子效果更优？
• RQ3 哪种因子组合策略——拼接还是逐元素相加——能带来更优的性能表现？
• RQ4 在低资源机器翻译中，语言学因子是否比语义因子更有效？
• RQ5 因子Transformer能否在具有挑战性的低资源基准测试中显著超越标准Transformer？

主要发现

• 在IWSLT德语到英语的低资源翻译任务中，因子Transformer相较于标准Transformer实现了+0.8 BLEU的性能提升。
• 在更具挑战性的FLoRes英语到尼泊尔语基准测试中，该模型实现了+1.2 BLEU的翻译性能提升。
• 在低资源环境下，语言学因子（如词性标注）带来的性能增益大于语义因子。
• 当在编码器层使用拼接策略组合因子时，性能达到最优。
• 通过因子形式注入外部知识，显著增强了Transformer在低资源场景下的泛化能力。
• 所提出的方法表明，通过架构修改注入结构化语言学知识，可有效提升翻译质量，且无需依赖大规模平行语料。