[論文レビュー] Learning Decoupled Retrieval Representation for Nearest Neighbour Neural Machine Translation

Qiang Wang, Rongxiang Weng+1 more|arXiv (Cornell University)|Sep 19, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、k-Nearest Neighbor Neural Machine Translation を改善するため、教師付き対照学習を用いて、標準的な NMT コンテキスト表現から検索表現を分離する Clknn を提案する。軽量アダプタを用いて専用の検索ベクトルを学習し、ハードネガティブサンプルを適用することで、5つのドメインで高い検索精度と BLEU スコアを達成した。推論速度の低下は最小限に抑えられ、通常の kNN-MT と比較して顕著な遅延が生じない。

ABSTRACT

K-Nearest Neighbor Neural Machine Translation (kNN-MT) successfully incorporates external corpus by retrieving word-level representations at test time. Generally, kNN-MT borrows the off-the-shelf context representation in the translation task, e.g., the output of the last decoder layer, as the query vector of the retrieval task. In this work, we highlight that coupling the representations of these two tasks is sub-optimal for fine-grained retrieval. To alleviate it, we leverage supervised contrastive learning to learn the distinctive retrieval representation derived from the original context representation. We also propose a fast and effective approach to constructing hard negative samples. Experimental results on five domains show that our approach improves the retrieval accuracy and BLEU score compared to vanilla kNN-MT.

研究の動機と目的

• 翻訳と検索の両タスクに共通のコンテキスト表現を使用する kNN-MT の性能が最適でない問題に対処すること。
• 類似するターゲット語をより明確に区別できる、専用でより特徴的な検索表現を学習すること。
• 低リソース環境およびドメイン外設定において、検索精度と下流の翻訳性能（BLEU）を向上させること。
• 対照学習を強化するために、計算コストを著しく増大させない高速かつ効果的なハードネガティブサンプルの構築手法を開発すること。
• 提案手法が通常の kNN-MT と同等の推論速度を維持すること。

提案手法

• 標準的な NMT コンテキスト表現 h を、専用の検索表現 z に変換するために、軽量なフィードフォワードネットワークアダプタを用いる。
• 検索性能を最適化するために、複数のポジティブおよびネガティブサンプルを用いて教師付き対照学習を適用する。
• 検索ベクトルをクラスタリングし、最近接する K=128 個のクラスタからサンプリングすることで、ハードネガティブサンプルを構築する。
• 推論段階では、検索表現 z を用いてデータストア内の k 個の最近傍を特定し、元の h をクエリベクトルとして置き換える。
• 最終的な翻訳確率は、標準的な NMT 出力と検索ベースの確率を、学習可能な補間係数 λ を用いて統合する。
• FAISS を用いた効率的なベクトル検索のため、次元削減を PCA 投影により 128 に実施する。

実験結果

リサーチクエスチョン

• RQ1 標準的な NMT コンテキスト表現から検索表現を分離することで、kNN-MT における検索精度と翻訳性能が向上するか？
• RQ2 対照学習において複数のポジティブおよびネガティブサンプルを用いることで、単一サンプル手法よりも優れた検索表現が得られるか？
• RQ3 計算コストを著しく増大させない高速かつ効果的なハードネガティブサンプル戦略は、対照学習の向上に寄与するか？
• RQ4 追加のアダプタを備えた本手法が、通常の kNN-MT と同等の推論速度を維持できるか？
• RQ5 本手法は、ドメイン内およびドメイン外のテストセットにおいて、どれほど頑健か？

主な発見

• Clknn は、5つのドメインで平均して 1 点以上の BLEU スコア向上を達成し、医療ドメインでは最大 1.64 BLEU ポイントの向上を示した。
• Clknn の検索精度は、すべての top-k 値において一貫して kNN-MT を上回り、より頑健で正確な近傍検索を実現している。
• M=2 個のポジティブサンプルと N=32 個のネガティブサンプルを用いた場合が最良の性能を示し、M を増やすよりも N を増やすことでより強い学習信号が得られる。
• 推論速度は kNN-MT と同等（ベースラインの 97% ± 2%）であり、アダプタによる追加オーバーヘッドが最小限であることが確認された。
• ドメイン内とドメイン外の性能差はわずか 0.3 BLEU ポイントにまで縮小され、強力な一般化性能とドメイン内データへの依存性の低減が示された。
• t-SNE 視覚化により、Clknn はベースラインと比較して、特に低頻度語においてよりコンパクトで分離性の高い表現を学習していることが確認された。