[论文解读] Adaptive Nearest Neighbor Machine Translation

Xin Zheng, Zhirui Zhang+5 more|arXiv (Cornell University)|May 27, 2021

Natural Language Processing Techniques参考文献 17被引用 4

一句话总结

该论文提出自适应 $k$ NN-MT，一种通过轻量级元-$k$ 网络动态调整每个目标词元的最近邻数量（$k$）的方法，通过过滤噪声检索结果提升翻译准确率。该方法在原始 $k$ NN-MT 基础上实现 1.44–2.97 BLEU 的提升，并在极少微调下实现跨领域的良好泛化能力。

ABSTRACT

kNN-MT, recently proposed by Khandelwal et al. (2020a), successfully combines pre-trained neural machine translation (NMT) model with token-level k-nearest-neighbor (kNN) retrieval to improve the translation accuracy. However, the traditional kNN algorithm used in kNN-MT simply retrieves a same number of nearest neighbors for each target token, which may cause prediction errors when the retrieved neighbors include noises. In this paper, we propose Adaptive kNN-MT to dynamically determine the number of k for each target token. We achieve this by introducing a light-weight Meta-k Network, which can be efficiently trained with only a few training samples. On four benchmark machine translation datasets, we demonstrate that the proposed method is able to effectively filter out the noises in retrieval results and significantly outperforms the vanilla kNN-MT model. Even more noteworthy is that the Meta-k Network learned on one domain could be directly applied to other domains and obtain consistent improvements, illustrating the generality of our method. Our implementation is open-sourced at https://github.com/zhengxxn/adaptive-knn-mt.

研究动机与目标

• 为解决固定-$k$ $k$ NN-MT 对敏感性与泛化能力差的问题，后者在上下文稀疏时无法有效过滤噪声邻居。
• 通过按目标词元自适应调整 $k$，提升低资源或分布外设置下的翻译鲁棒性与准确率。
• 开发一种轻量化、可训练的机制，仅需少量样本即可实现良好泛化能力。
• 通过基于局部上下文质量条件化邻居使用，实现更可靠且可解释的基于检索的神经机器翻译。

提出的方法

• 引入元-$k$ 网络，评估每个目标词元的 $k$ 个最近邻预测的置信度，使用距离与值计数等特征。
• 设定候选 $k$ 值集合，上限为 $K$，并通过元-$k$ 网络实现每个词元的动态最优 $k$ 选择。
• 采用可学习聚合机制，基于估计置信度组合不同 $k$ 值的预测结果，提升鲁棒性。
• 设计元-$k$ 网络的输入特征：(1) 基于距离的置信度，(2) 检索邻居中不同值的计数。
• 仅使用数百至数千句领域内句子进行元-$k$ 网络训练，实现高效适应。
• 通过可学习的 $λ$ 实现 NMT 与 $k$ NN 预测之间的插值，保持模型一致性。

实验结果

研究问题

• RQ1 与固定-$k$ $k$ NN-MT 相比，按目标词元动态调整 $k$ 是否能提升翻译性能？
• RQ2 在上下文稀疏或模糊时，元-$k$ 网络在过滤噪声邻居方面的有效性如何？
• RQ3 在未重新训练的情况下，于某一领域训练的元-$k$ 网络能否成功迁移到其他领域？
• RQ4 在基于检索的 NMT 中，哪些特征最能预测可靠邻居预测？
• RQ5 需要多少训练样本才能有效训练元-$k$ 网络以实现优异性能？

主要发现

• 当 $K \geq 4$ 时，自适应 $k$ NN-MT 在四个基准领域上相较原始 $k$ NN-MT 实现 1.44–2.97 BLEU 点的性能提升。
• 元-$k$ 网络泛化能力出色：在 IT 领域训练的模型无需微调即可在医疗、新闻与科学领域达到相近性能。
• 即使仅使用 100 条训练句进行元-$k$ 训练，该方法仍保持强劲性能，体现极高的数据效率。
• 距离特征比值计数特征更具信息量，消融实验表明其对性能提升的贡献更大。
• 在领域不匹配场景（如 IT 输入输入至医疗模型）中，自适应 $k$ NN-MT 避免了原始 $k$ NN-MT 出现的性能下降，证明其鲁棒性。
• 仅使用 0.6k 参数，元-$k$ 网络即实现显著性能增益，体现极高的参数效率。