[論文レビュー] Adaptive Nearest Neighbor Machine Translation

Xin Zheng, Zhirui Zhang+5 more|arXiv (Cornell University)|May 27, 2021

Natural Language Processing Techniques参考文献 17被引用数 4

ひとこと要約

本稿では、軽量なメタ-$k$ ネットワークを用いて各ターゲットトークンごとに最近傍数（$k$）を動的に調整する、Adaptive $k$ NN-MT を提案する。この手法により、ノイズの多いリtrieval結果をフィルタリングし、翻訳精度が向上する。本手法は、vanilla $k$ NN-MT よりも1.44–2.97 BLEUポイントの向上を達成し、微調整を最小限に抑えてもさまざまなドメインに一般化可能である。

ABSTRACT

kNN-MT, recently proposed by Khandelwal et al. (2020a), successfully combines pre-trained neural machine translation (NMT) model with token-level k-nearest-neighbor (kNN) retrieval to improve the translation accuracy. However, the traditional kNN algorithm used in kNN-MT simply retrieves a same number of nearest neighbors for each target token, which may cause prediction errors when the retrieved neighbors include noises. In this paper, we propose Adaptive kNN-MT to dynamically determine the number of k for each target token. We achieve this by introducing a light-weight Meta-k Network, which can be efficiently trained with only a few training samples. On four benchmark machine translation datasets, we demonstrate that the proposed method is able to effectively filter out the noises in retrieval results and significantly outperforms the vanilla kNN-MT model. Even more noteworthy is that the Meta-k Network learned on one domain could be directly applied to other domains and obtain consistent improvements, illustrating the generality of our method. Our implementation is open-sourced at https://github.com/zhengxxn/adaptive-knn-mt.

研究の動機と目的

• 固定$ k $の $k$ NN-MT が文脈が疎な場合にノイズの多い近傍をフィルタリングできないという感受性と一般化性能の低さを是正すること。
• 低リソースまたはドメイン外の設定でも、ターゲットトークンごとに $k$ を適応的に調整することで、翻訳の耐障害性と精度を向上させること。
• 少数のサンプルで学習可能で、ドメイン間で一般化可能な軽量でトレーニング可能なメカニズムを開発すること。
• 局所的な文脈品質に応じて近傍の利用を条件づけることで、より信頼性が高く解釈可能なリtrievalベースのNMTを実現すること。

提案手法

• 各ターゲットトークンについて、距離や値の個数といった特徴を用いて、$k$ 個の最近傍予測の信頼度を評価するメタ-$k$ ネットワークを導入する。
• 上限 $K$ までの複数の候補 $k$ 値を用意し、メタ-$k$ ネットワークを用いて各トークンごとに最適な $k$ を動的に選択する。
• 推定された信頼度に基づいて、異なる $k$ 値からの予測を結合する学習可能な集約メカニズムを採用し、耐障害性を向上させる。
• メタ-$k$ ネットワークの入力特徴を設計：(1) 距離に基づく信頼度、(2) 取得した近傍における異なる値の個数。
• わずか数百から数천語のドメイン内文を用いてメタ-$k$ ネットワークを訓練し、効率的な適応を可能にする。
• NMTと$k$ NN予測の間で、学習可能な $λ$ を用いた補間を適用し、モデルの一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットトークンごとに $k$ を動的に調整することで、固定$ k $の $k$ NN-MT よりも翻訳性能が向上するか？
• RQ2 文脈が疎く不確かである場合に、メタ-$k$ ネットワークはノイズの多い近傍をどれほど効果的にフィルタリングできるか？
• RQ3 あるドメインで訓練したメタ-$k$ ネットワークを、再訓練なしに他のドメインに転送できるか？
• RQ4 リtrievalベースのNMTにおいて、信頼できる近傍予測を予測するのに最も有用な特徴は何か？
• RQ5 強力な性能を得るために、メタ-$k$ ネットワークを効果的に訓練するのに必要なトレーニング例の数はどの程度か？

主な発見

• Adaptive $k$ NN-MT は、$K \geq 4$ の条件下で、4つのベンチマークドメインにおいて、vanilla $k$ NN-MT よりも1.44–2.97 BLEUポイントの向上を達成した。
• メタ-$k$ ネットワークは優れた一般化性能を示した：ITドメインで訓練したモデルは、再訓練なしに医療、ニュース、科学ドメインでも同等の性能を発揮した。
• メタ-$k$ ネットワークの訓練にたった100文のデータで十分であり、低データ効率性を示した。
• 距離に基づく特徴が、値の個数特徴よりも情報量が多く、アブレーション実験で性能向上に寄与していることが示された。
• ドメイン不一致設定（例：IT入力に対して医療ドメインのモデル）において、vanilla $k$ NN-MT が性能低下を示すのに対し、Adaptive $k$ NN-MT はその劣化を防ぐことができ、耐障害性が裏付けられた。
• わずか0.6kのパラメータでメタ-$k$ ネットワークが顕著な向上を達成したため、高いパラメータ効率性が示された。