[論文レビュー] Efficient Cluster-Based k-Nearest-Neighbor Machine Translation

Dexin Wang, Kai Fan+2 more|ArXiv.org|Apr 13, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、k近傍法機械翻訳（kNN-MT）の推論遅延を低減するために、クラスタベースのコンパクトネットワークとクラスタベースのプルーニング戦略を提案する。特徴次元を最大93.75％まで圧縮し、データベースサイズを10％～40％削減しながらも翻訳品質を維持または向上させる。複数のベンチマークで、最先端の非パrametric MTモデルよりも最大57％低い推論遅延を達成する。

ABSTRACT

k-Nearest-Neighbor Machine Translation (kNN-MT) has been recently proposed as a non-parametric solution for domain adaptation in neural machine translation (NMT). It aims to alleviate the performance degradation of advanced MT systems in translating out-of-domain sentences by coordinating with an additional token-level feature-based retrieval module constructed from in-domain data. Previous studies have already demonstrated that non-parametric NMT is even superior to models fine-tuned on out-of-domain data. In spite of this success, kNN retrieval is at the expense of high latency, in particular for large datastores. To make it practical, in this paper, we explore a more efficient kNN-MT and propose to use clustering to improve the retrieval efficiency. Concretely, we first propose a cluster-based Compact Network for feature reduction in a contrastive learning manner to compress context features into 90+% lower dimensional vectors. We then suggest a cluster-based pruning solution to filter out 10%-40% redundant nodes in large datastores while retaining translation quality. Our proposed methods achieve better or comparable performance while reducing up to 57% inference latency against the advanced non-parametric MT model on several machine translation benchmarks. Experimental results indicate that the proposed methods maintain the most useful information of the original datastore and the Compact Network shows good generalization on unseen domains.

研究の動機と目的

• 大きなデータベースと非効率な検索が原因で生じるkNN-MTにおける高い推論遅延を解消すること。
• 特徴空間におけるより分離性の高い、コンパクトな意味的クラスタを学習することで、検索効果を向上させること。
• 翻訳品質を保持しつつ、体系的なプルーニング戦略によってデータベースの冗長性を低減すること。
• パフォーマンス劣化を伴わずに、効率的かつスケーラブルな非パrametricドメイン適応をニューラル機械翻訳に可能とすること。
• 対照的学習に基づく特徴圧縮とクラスタに配慮したプルーニングが、速度と精度の両方を同時に向上させられることを示すこと。

提案手法

• 対照的学習を用いて訓練されるクラスタベースのコンパクトネットワークにより、高次元のコンテキスト特徴を低次元ベクトルに圧縮し、次元を最大93.75％まで削減する。
• コンパクトネットワークは、クラスタ間のマージンを最大化し、クラスタ内距離を最小化することで、kNN検索に適した意味的分離性を向上させる。
• クラスタベースのプルーニング戦略により、クラスタ密度と意味的関連性を分析することで、データベース内の冗長なキーを同定・削除する。
• プルーニングはクラスタ構造に従って行われ、高品質で多様な表現を保持しつつ、低効用または重複するエントリを除外する。
• この手法は、動的k選択と推論時に圧縮・プルーニング済みデータベースからの検索を可能とする、適応的kNN-MTと統合可能である。
• 本手法は、ITおよび字幕ドメインを含む複数のNMTベンチマークで評価され、プルーニング率と特徴圧縮に関するアブレーションも実施されている。

実験結果

リサーチクエスチョン

• RQ1 対照的学習に基づく特徴圧縮は、翻訳品質を維持したままkNN-MTの推論遅延を顕著に低減できるか？
• RQ2 データベースのクラスタに配慮したプルーニングは、冗長性を低減し、検索効率を向上させつつBLEUスコアの低下を招かないか？
• RQ3 特徴圧縮とプルーニングの組み合わせが、多様なドメイン外テストセットにおいて性能に与える影響は何か？
• RQ4 過酷な次元削減とプルーニングを行っても、本手法は未観測ドメインへの一般化能力を維持できるか？
• RQ5 大規模kNN-MTシステムにおいて、プルーニング率、遅延低減、翻訳パフォーマンスの間にはどのようなトレードオフがあるか？

主な発見

• 提案されたコンパクトネットワークは、複数のベンチマークで翻訳品質を維持または向上させながら、特徴次元を最大93.75％まで圧縮した。
• クラスタベースのプルーニング戦略により、データベースキーの10％～40％が削除され、BLEUスコアの顕著な低下はなく、推論遅延が最大57％まで低減した。
• 30％のプルーニングを施したPCKMT*は、字幕ドメインにおいて、アダプティブkNN-MTベースラインと比較して0.36 BLEUの向上と1.56倍の高速化を達成した。
• ランダムプルーニングと比較して、PCKMT*+Oursは70％までのプルーニング率でも性能を維持する一方、ランダムプルーニングは50％を超えると急激に劣化した。
• t-SNE可視化により、コンパクトネットワークが意味的重複を低減するより分離性の高いコンパクトなクラスタを生成することが確認された。
• ITドメインでは、データベースのストレージを量子化により295.2GBから12.2GBに削減し、さらに70％のプルーニングで6.5GBまで低減したが、BLEUスコアの損失は最小限に抑えられた。