[論文レビュー] Nearest Neighbor Machine Translation

Urvashi Khandelwal, Angela Fan+3 more|arXiv (Cornell University)|Oct 1, 2020

Natural Language Processing Techniques参考文献 42被引用数 19

ひとこと要約

この論文では、意味的表現を用いて大規模で静的なデータストアから関連する翻訳例を検索することで、事前学習済みニューラル機械翻訳モデルを強化する非パrametric手法、k-Nearest Neighbor Machine Translation (kNN-MT) を紹介する。モデルの出力を数十億のキャッシュ済み例に対する最近傍分類器との補間によって処理することで、微調整なしにドメイン外データでは最大9.2 BLEU、多言語対応の適応では3 BLEU向上する。

ABSTRACT

We introduce $k$-nearest-neighbor machine translation ($k$NN-MT), which predicts tokens with a nearest neighbor classifier over a large datastore of cached examples, using representations from a neural translation model for similarity search. This approach requires no additional training and scales to give the decoder direct access to billions of examples at test time, resulting in a highly expressive model that consistently improves performance across many settings. Simply adding nearest neighbor search improves a state-of-the-art German-English translation model by 1.5 BLEU. $k$NN-MT allows a single model to be adapted to diverse domains by using a domain-specific datastore, improving results by an average of 9.2 BLEU over zero-shot transfer, and achieving new state-of-the-art results -- without training on these domains. A massively multilingual model can also be specialized for particular language pairs, with improvements of 3 BLEU for translating from English into German and Chinese. Qualitatively, $k$NN-MT is easily interpretable; it combines source and target context to retrieve highly relevant examples.

研究の動機と目的

• 外部のキャッシュ済み例を活用することで、微調整なしにニューラル機械翻訳の性能を向上させること。
• 単一の事前学習済みモデルとドメイン固有のデータストアを用いて、ドメイン適応と多言語特化を可能にすること。
• 検索意思決定を可視化可能な関連する訓練例を通じて透明化することで、モデルの解釈性を向上させること。
• 生成タスクにおける表現力の向上を実現するため、数十億のキー・バリュー対に対する最近傍検索をスケーリングすること。

提案手法

• この手法は、事前学習済みニューラルMTモデルを用いて、ソースシーケンスおよび部分的ターゲットシーケンスのコンテキスト表現を計算する。
• データストアはオフラインで構築され、キーがデコーダー表現 f(s, t_{1:i-1}) でバリューが正解ターゲットトークン t_i であるキー・バリュー対として格納される。
• 推論時、現在のコンテキスト表現を用いてデータストアを照会し、コサイン類似度に基づいてk個の最近傍を検索する。
• 温度スケーリングを用いたソフトマックスを用いて、k個の検索された近傍からターゲットトークンの確率分布を計算する。
• 最終的な予測は、ニューラルモデルの出力とkNN分布との重み付き補間によって得られる。
• このアプローチは追加のトレーニングを必要とせず、任意の事前学習済みMTモデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 大規模で静的なデータストア上で最近傍検索を実行することで、微調整なしにニューラル機械翻訳の性能を向上させることができるか？
• RQ2 ドメイン固有のデータストアを用いて、単一のモデルをドメイン外またはリソースが限られたドメインに効果的に適応させることができるか？
• RQ3 文脈表現に基づくトークンレベルでの検索は、文レベルでの検索よりもより関連性の高い例を提供するか？
• RQ4 再トレーニングなしに、kNN-MTは特定の言語対に対して多言語モデルの性能を向上させることができるか？

主な発見

• kNN-MTは、訓練なしに最先端のドイツ語-英語翻訳モデルを1.5 BLEU向上させる。
• ドメイン固有のデータストアを用いてドメイン外ドメインに適応した場合、kNN-MTはゼロショット転送より平均で9.2 BLEU向上する。
• 多言語モデルにおいて、言語対固有のデータストアを用いることで、英語からドイツ語および中国語への翻訳が3 BLEU向上する。
• 検索結果は非常に文脈的に関連しており、サブワードに分割された固有表現（例：名前付きエンティティ）を再構築する例が観察される。
• この手法は解釈可能であり、検索された例が直接可視化され、予測に意味的に寄与している。