[论文解读] Categorizing Semantic Representations for Neural Machine Translation

Yongjing Yin, Yafu Li+3 more|arXiv (Cornell University)|Oct 13, 2022

Natural Language Processing Techniques被引用 7

一句话总结

本文提出Proto-Transformer，一种两阶段方法，通过将源端上下文嵌入表示分类为原型嵌入，以提升神经机器翻译（NMT）的组合泛化能力。通过聚类稀疏的标记表示并利用原型注意力模块进行融合，该模型在CoGnition数据集上将组合泛化误差降低了24%，并在10个标准机器翻译基准测试中实现了稳定的BLEU提升。

ABSTRACT

Modern neural machine translation (NMT) models have achieved competitive performance in standard benchmarks. However, they have recently been shown to suffer limitation in compositional generalization, failing to effectively learn the translation of atoms (e.g., words) and their semantic composition (e.g., modification) from seen compounds (e.g., phrases), and thus suffering from significantly weakened translation performance on unseen compounds during inference. We address this issue by introducing categorization to the source contextualized representations. The main idea is to enhance generalization by reducing sparsity and overfitting, which is achieved by finding prototypes of token representations over the training set and integrating their embeddings into the source encoding. Experiments on a dedicated MT dataset (i.e., CoGnition) show that our method reduces compositional generalization error rates by 24\% error reduction. In addition, our conceptually simple method gives consistently better results than the Transformer baseline on a range of general MT datasets.

研究动机与目标

• 解决NMT模型在组合泛化方面的局限性，特别是其在推理过程中对未见复合短语无法泛化的问题。
• 通过在训练数据上识别标记嵌入的代表性原型，减少源端上下文表示的稀疏性和过拟合。
• 通过将原型感知表示整合到编码器中，提升对分布外输入和罕见组合模式的鲁棒性。
• 在专门的组合泛化基准和标准MT数据集上验证方法的有效性。
• 探究早期训练得到的原型是否比后期训练阶段的原型具有更好的泛化能力。

提出的方法

• 在第一阶段训练一个初始Transformer模型，以生成训练集中所有标记的高质量上下文表示。
• 针对每个标记，提取其在训练语料中所有上下文表示，并应用K-Means聚类以识别原型嵌入。
• 引入一个原型注意力模块，在编码过程中关注这些学习到的原型，通过原型感知上下文丰富源端表示。
• 通过端到端微调完整模型，使注意力机制适应原型集成。
• 采用两阶段训练流程：先预训练基础模型，然后聚类表示并注入原型后重新训练。
• 对比单阶段（单遍）和两阶段（双遍）训练，评估原型质量对泛化性能的影响。

实验结果

研究问题

• RQ1 将源端上下文表示分类为原型是否能提升NMT中的组合泛化能力？
• RQ2 在未见复合短语上注入原型感知表示是否能降低错误率，尤其是在低资源或分布外设置下？
• RQ3 原型质量（来自早期训练 vs. 晚期训练）如何影响模型的泛化性能？
• RQ4 该方法是否在多样化的MT基准测试中持续提升性能，而不仅限于专门的组合数据集？
• RQ5 通过基于原型的表示学习，模型是否能更好地处理复杂组合模式，如后置修饰语？

主要发现

• 所提出的Proto-Transformer在CoGnition基准上将组合泛化误差降低了24%，证明其在未见复合短语上的强大有效性。
• 该模型在10个标准MT基准测试中均实现一致的BLEU分数提升，表明其在标准数据集上的广泛适用性。
• 在上下文长度超过13个标记的测试样本上，Proto-Transformer的CTER（组合翻译错误率）降低了12.80%，表明其对更长、更稀疏输入的处理能力更优。
• 该模型在涉及后置修饰语（MOD）的复合词上表现显著更优，t-SNE可视化显示标记'liked'的表示聚类更清晰。
• 单阶段训练流程（从早期训练表示中提取原型）在收敛速度和准确率上均优于双阶段方法。
• 定量分析证实，该模型对更长复合词和复杂组合模式更具鲁棒性，对新短语的翻译稳定性更高。