[论文解读] Efficient Cluster-Based k-Nearest-Neighbor Machine Translation

Dexin Wang, Kai Fan+2 more|ArXiv.org|Apr 13, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文提出一种基于聚类的紧凑网络（Compact Network）和基于聚类的剪枝策略，以加速 k-最近邻机器翻译（kNN-MT），将特征维度降低高达 93.75%，数据存储库大小减少 10%–40%，同时保持或提升翻译质量。该方法在多个基准测试中，相较于最先进非参数化 MT 模型，实现高达 57% 的推理延迟降低。

ABSTRACT

k-Nearest-Neighbor Machine Translation (kNN-MT) has been recently proposed as a non-parametric solution for domain adaptation in neural machine translation (NMT). It aims to alleviate the performance degradation of advanced MT systems in translating out-of-domain sentences by coordinating with an additional token-level feature-based retrieval module constructed from in-domain data. Previous studies have already demonstrated that non-parametric NMT is even superior to models fine-tuned on out-of-domain data. In spite of this success, kNN retrieval is at the expense of high latency, in particular for large datastores. To make it practical, in this paper, we explore a more efficient kNN-MT and propose to use clustering to improve the retrieval efficiency. Concretely, we first propose a cluster-based Compact Network for feature reduction in a contrastive learning manner to compress context features into 90+% lower dimensional vectors. We then suggest a cluster-based pruning solution to filter out 10%-40% redundant nodes in large datastores while retaining translation quality. Our proposed methods achieve better or comparable performance while reducing up to 57% inference latency against the advanced non-parametric MT model on several machine translation benchmarks. Experimental results indicate that the proposed methods maintain the most useful information of the original datastore and the Compact Network shows good generalization on unseen domains.

研究动机与目标

• 解决因大型数据存储库和低效检索导致的 kNN-MT 高推理延迟问题。
• 通过在特征空间中学习更具可分性的紧凑语义聚类，提升检索效率。
• 通过合理剪枝策略减少数据存储库冗余，同时保持翻译质量。
• 实现在神经机器翻译中高效、可扩展的非参数化领域自适应，且无性能下降。
• 证明基于对比学习的特征压缩与聚类感知剪枝可协同提升推理速度与准确性。

提出的方法

• 通过对比学习训练基于聚类的紧凑网络，将高维上下文特征压缩为低维向量，特征维度降低高达 93.75%。
• 紧凑网络通过最大化类间距离、最小化类内距离，提升语义可分性，以优化 kNN 检索性能。
• 基于聚类的剪枝策略通过分析聚类密度与语义相关性，识别并移除数据存储库中的冗余键。
• 剪枝过程基于聚类结构进行，保留高质量、多样化的表示，同时丢弃低效或重叠的条目。
• 该方法可与自适应 kNN-MT 集成，在推理时实现动态 k 选择，并从剪枝后、压缩的数据存储库中检索。
• 该方法在多个 NMT 基准测试上进行评估，涵盖 IT 和字幕等领域，并对剪枝率与特征压缩进行消融实验。

实验结果

研究问题

• RQ1 基于对比学习的特征压缩能否在不损失翻译质量的前提下显著降低 kNN-MT 的推理延迟？
• RQ2 对数据存储库进行聚类感知剪枝是否能减少冗余并提升检索效率，且不造成 BLEU 分数下降？
• RQ3 特征压缩与剪枝的结合在多样化分布外测试集上的性能表现如何？
• RQ4 尽管进行了激进的维度压缩与剪枝，该方法是否仍能保持对未见领域的泛化能力？
• RQ5 在大规模 kNN-MT 系统中，剪枝率、延迟降低与翻译性能之间的权衡关系如何？

主要发现

• 所提出的紧凑网络在多个基准测试上将特征维度降低高达 93.75%，同时保持或提升翻译质量。
• 基于聚类的剪枝策略可移除 10%–40% 的数据存储库键，且无显著 BLEU 分数下降，推理延迟降低高达 57%。
• 在字幕领域，PCKMT* 在 30% 剪枝率下实现 0.36 的 BLEU 分数提升，且推理速度比自适应 kNN-MT 基线快 1.56 倍。
• 与随机剪枝相比，PCKMT*+Ours 在剪枝率高达 70% 时仍能保持性能，而随机剪枝在超过 50% 剪枝率后性能急剧下降。
• t-SNE 可视化结果表明，紧凑网络生成的聚类更紧凑、更具可分性，显著降低了特征空间中的语义重叠。
• 在 IT 领域，该方法将数据存储库存储量从 295.2GB 降低至 12.2GB（通过量化），进一步通过 70% 剪枝降至 6.5GB，BLEU 损失极小。