[论文解读] Improving Zero-Shot Translation by Disentangling Positional Information

Danni Liu, Jan Niehues+3 more|Repository KITopen (Karlsruhe Institute of Technology)|Dec 30, 2020

Natural Language Processing Techniques参考文献 33被引用 11

一句话总结

本文提出一种简单的架构修改——在单个中间编码器层中移除残差连接，以通过将位置信息与输入标记解耦来提升零样本翻译性能。该方法增强了跨语言泛化能力，在零样本翻译上实现了最高18.5 BLEU的性能提升，同时无需微调即可无缝集成新语言。

ABSTRACT

Multilingual neural machine translation has shown the capability of directly translating between language pairs unseen in training, i.e. zero-shot translation. Despite being conceptually attractive, it often suffers from low output quality. The difficulty of generalizing to new translation directions suggests the model representations are highly specific to those language pairs seen in training. We demonstrate that a main factor causing the language-specific representations is the positional correspondence to input tokens. We show that this can be easily alleviated by removing residual connections in an encoder layer. With this modification, we gain up to 18.5 BLEU points on zero-shot translation while retaining quality on supervised directions. The improvements are particularly prominent between related languages, where our proposed model outperforms pivot-based translation. Moreover, our approach allows easy integration of new languages, which substantially expands translation coverage. By thorough inspections of the hidden layer outputs, we show that our approach indeed leads to more language-independent representations.

研究动机与目标

• 为解决多语言神经机器翻译系统在零样本翻译中表现不佳的问题。
• 探究标准模型在零样本推理期间为何无法泛化到未见过的语言对。
• 开发一种通过减少输入标记对位置的依赖来促进语言无关表征的方法。
• 实现在仅使用少量数据的情况下，高效地将新语言集成到现有多语言模型中。
• 证明编码器中的结构修改可显著提升零样本翻译质量。

提出的方法

• 该方法通过在单个中间编码器层中移除残差连接，打破输入标记与隐藏状态之间的一一对应位置关系。
• 该修改使编码器能够自由重组词表示，降低语言特异性编码模式。
• 该方法应用于标准的基于Transformer的多语言NMT模型，仅需极少的架构改动。
• 模型在多语言数据集上进行端到端训练，使用监督方向进行训练，零样本翻译在不进一步微调的情况下进行评估。
• 保留位置嵌入，但模型被设计为对位置嵌入的形式具有鲁棒性，从而确保跨语言的泛化能力。
• 通过仅在新语言的平行语料上进行微调，即可轻松扩展至新语言，同时保持对所有其他语言的零样本能力。

Figure 1: An example of language-specific encoder outputs as a results of the strong positional correspondence to input tokens (even assuming the word embeddings are cross-lingually mapped).

实验结果

研究问题

• RQ1 为何标准多语言NMT模型尽管共享参数，在零样本翻译中仍表现不佳？
• RQ2 输入标记与编码器隐藏状态之间的位置对应关系在多大程度上阻碍了跨语言泛化？
• RQ3 在单个编码器层中移除残差连接是否能在不损害监督性能的前提下提升零样本翻译质量？
• RQ4 所提出的方法在标记和句子两个层面如何影响隐藏表征的语言独立性？
• RQ5 模型能否在保持零样本翻译能力的同时，实现新语言的快速集成？

主要发现

• 在单个中间编码器层中移除残差连接，可使零样本翻译性能最高提升18.5 BLEU点。
• 该提升在相关语言对中最为显著，模型性能优于基于桥梁语言的翻译方法。
• 经分析隐藏层输出证实，修改后的模型产生了更具语言独立性的表征。
• 该方法可仅用少量数据实现新语言的轻松集成，当已有N种语言支持时，可将翻译覆盖范围扩展至2N对语言。
• 模型在监督翻译方向上保持了高性能，表明主训练目标未受到性能下降影响。
• 该方法对不同位置嵌入方案具有鲁棒性，包括学习得到的位置嵌入和正弦位置嵌入。

Figure 2: Illustrations of our proposed modifications to an original encoder layer: dropping residual connections once ( $\S$ 2.1 ); making attention query based on position encoding ( $\S$ 2.2 ). Before each self-attention (SA) and feed forward (FF) layer we apply layer normalization, which is not