[論文レビュー] Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation

Jiahuan Li, Shanbo Cheng+3 more|arXiv (Cornell University)|Dec 17, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、k-NNニューラルマシン翻訳（k-NNMT）のための高品質なデータストアを生成するために事前学習モデル（PTM）を活用するPREDというフレームワークを提案する。PTMを用いたデータストア構築と、表現のギャップを埋めるための対照的アライメント目的関数の導入により、NMTモデルのサイズを増大させることなく、検索精度と翻訳性能が向上し、二国語および多言語のベンチマークでベースラインを上回る優れた翻訳結果を達成する。

ABSTRACT

Nearest Neighbor Machine Translation (kNNMT) is a simple and effective method of augmenting neural machine translation (NMT) with a token-level nearest neighbor retrieval mechanism. The effectiveness of kNNMT directly depends on the quality of retrieved neighbors. However, original kNNMT builds datastores based on representations from NMT models, which would result in poor retrieval accuracy when NMT models are not good enough, leading to sub-optimal translation performance. In this paper, we propose PRED, a framework that leverages Pre-trained models for Datastores in kNN-MT. Better representations from pre-trained models allow us to build datastores of better quality. We also design a novel contrastive alignment objective to mitigate the representation gap between the NMT model and pre-trained models, enabling the NMT model to retrieve from better datastores. We conduct extensive experiments on both bilingual and multilingual translation benchmarks, including WMT17 English $\leftrightarrow$ Chinese, WMT14 English $\leftrightarrow$ German, IWSLT14 German $\leftrightarrow$ English, and IWSLT14 multilingual datasets. Empirical results demonstrate the effectiveness of PRED.

研究の動機と目的

• 下位のNMTモデルの表現から構築される低品質なデータストアが原因で生じるk-NNMTにおける翻訳性能の劣化を是正すること。
• 優れた表現を備えた事前学習モデル（PTM）を活用することで、データストアにおけるキーバリュー（K-V）一貫性を向上させること。
• NMTモデルとPTMによって生成されたデータストアとの間の表現差を、新しい対照的アライメント目的関数により是正すること。
• NMTモデルサイズの増加を回避することで、推論効率を維持しつつ、検索および翻訳品質を向上させること。
• 多様な二国語および多言語翻訳ベンチマークにおいて、PTMベースのデータストア生成の有効性を実証すること。

提案手法

• NMTモデルの表現ではなく、強力な事前学習モデル（PTM）の表現を用いてデータストアを構築することで、より高いK-V一貫性を実現すること。
• 推論時にはNMTモデルのデコード状態をクエリとして使用し、PTMの表現で構築されたデータストアから検索すること。
• NMTモデルのクエリ表現と、PTMによって生成されたデータストア内の対応するキーを一致させる対照的アライメント目的関数を設計すること。
• 表現分布のずれにもかかわらず、検索の関連性を向上させるために、対照的目的関数を用いてNMTモデルをエンドツーエンドで訓練すること。
• 推論時に、NMTとk-NNの確率を温度スケーリング付きの重み付き融合により統合し、PTMによって構築されたデータストアから取得した値を活用すること。
• 元のNMTアーキテクチャを維持し、データストアと検索プロセスのみを変更することで、NMTモデルサイズの増加を回避すること。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルを用いてデータストアを生成することで、k-NNMTにおける検索精度と翻訳品質を顕著に向上させることができるか？
• RQ2 NMTモデルと事前学習モデルとの間の表現ギャップが検索性能に与える影響は何か？ そして、そのギャップは効果的に是正可能か？
• RQ3 PTMによって生成されたデータストアは、NMTによって生成されたデータストアと比較して、より高いK-V一貫性を示すか？
• RQ4 クエリとキーの表現が異なるモデルから来ている場合、対照的アライメント目的関数が検索性能を向上させられるか？
• RQ5 PREDは、多言語および二国語のベンチマークにおいて、既存のk-NNMT手法を上回る性能を発揮しながらも、計算効率を維持できるか？

主な発見

• PREDは、WMT17英語↔中国語、WMT14英語↔ドイツ語、IWSLT14ドイツ語↔英語、およびIWSLT14多言語翻訳ベンチマークにおいて、k-NNMTおよび他のベースラインと比較して一貫した改善を達成した。
• WMT17中国語↔英語では、PREDが32.1のBLEUスコアを達成し、最も強力なベースラインを1.2 BLEUポイント上回った。
• WMT14英語↔ドイツ語では、PREDがk-NNMTよりも1.0 BLEU向上させ、低リソースおよび複雑な翻訳設定でも顕著な向上を示した。
• 対照的アライメント目的関数は、検索精度を顕著に向上させた。特に、代名詞や接続動詞のように類似しているが交換不能な語彙について、定性的な分析および図6によりその有効性が示された。
• PREDはk-NNMTと同一のNMTモデルサイズを維持しており、推論コストの増加を回避しながらも、より優れた翻訳品質を達成した。
• アブレーションスタディの結果、PTMベースのデータストア生成と対照的目的関数の両方が性能向上に不可欠であることが確認された。両者のいずれかを除去すると、BLEUスコアが顕著に低下した。