[論文レビュー] Neural Machine Translation with Monolingual Translation Memory

Deng Cai, Wang Yan+3 more|arXiv (Cornell University)|May 24, 2021

Natural Language Processing Techniques参考文献 68被引用数 16

ひとこと要約

本稿では、モノリンガル翻訳メモリと学習可能なクロスリンガルリトリーバーをニューラル機械翻訳（NMT）に統合することで、翻訳メモリを拡張する新しいNMTフレームワークを提案する。この手法により、翻訳側のモノリンガルデータのみを用いたエンド・ツー・エンド最適化が可能となり、最先端の性能を達成する。特に低リソース環境やドメイン適応設定において顕著な向上を示す。

ABSTRACT

Prior work has proved that Translation memory (TM) can boost the performance of Neural Machine Translation (NMT). In contrast to existing work that uses bilingual corpus as TM and employs source-side similarity search for memory retrieval, we propose a new framework that uses monolingual memory and performs learnable memory retrieval in a cross-lingual manner. Our framework has unique advantages. First, the cross-lingual memory retriever allows abundant monolingual data to be TM. Second, the memory retriever and NMT model can be jointly optimized for the ultimate translation goal. Experiments show that the proposed method obtains substantial improvements. Remarkably, it even outperforms strong TM-augmented NMT baselines using bilingual TM. Owning to the ability to leverage monolingual data, our model also demonstrates effectiveness in low-resource and domain adaptation scenarios.

研究の動機と目的

• 既存のTM拡張NMTモデルが双方向平行データと学習不能なリトリーブメカニズムに依存するという制限を克服すること。
• 豊富なモノリンガル翻訳側データを翻訳メモリとして活用できるようにし、利用可能な学習データの範囲を拡大すること。
• 語彙的類似性ではなく翻訳品質を最適化する目的で学習可能な微分可能でエンド・ツー・エンドで訓練可能なメモリリトリーバーを設計すること。
• 再トレーニングなしでドメイン固有のメモリを切り替えることで、低リソースおよびドメイン適応シナリオを改善すること。

提案手法

• 二重エンコーダー構造により、共通の潜在空間にソース文とターゲット文をアライメントさせ、クロスリンガルリトリーブを可能にする。
• メモリリトリーバーは微分可能なニューラルネットワークを用い、クロスリンガル類似度に基づいてリトリーブスコアを計算し、NMTモデルのアテンションをバイアス化する。
• リトリーブスコアをアテンション機構に統合することで、翻訳目的関数からリトリーバーへ勾配が逆伝播可能にする。
• トレーニングの初期段階で冷間スタート問題を克服するため、クロスアライメントタスクを用いたウォームスタート戦略を適用する。
• 再トレーニングなしで推論時にTMソースを切り替えることで、ドメイン固有の適応が可能になる。
• 大規模なモノリンガルメモリバンク上で高速な推論を実現するため、FAISSを用いて効率的なベクトル検索を実施する。

実験結果

リサーチクエスチョン

• RQ1 双方向平行ペアが不要な状態で、モノリンガル翻訳側データをNMTにおける翻訳メモリとして効果的に活用できるか？
• RQ2 ヒューリスティックで学習不能なリトリーブ手法（例：BM25）と比較して、学習可能でエンド・ツー・エンド微分可能なメモリリトリーバーは性能を上回れるか？
• RQ3 モノリンガルTMを活用することで、双方向データが不足する低リソース環境における翻訳性能が向上するか？
• RQ4 再トレーニングなしで推論時にモノリンガルTMを切り替えることで、新しいドメインに適応可能か？

主な発見

• 提案手法は、双方向TMを用いる強力なNMTベースラインを上回り、複数のデータセットで新たな最先端性能を達成した。
• 低リソース環境では、トレーニング用の平行ペアに含まれない追加のモノリンガル翻訳側データを活用することで顕著な向上を示した。
• ドメイン適応が著しく向上した：5つのドメインで平均1.85 BLEUポイントの向上を示し、法的分野では最大2.57 BLEU、医療分野では2.51 BLEUの向上を記録した。
• 推論遅延はベースラインの1.36倍で、以前の最先端モデル（1.80倍）よりも高速であり、トレーニングコストはベースラインと同等（2.62倍～2.76倍）であった。
• 訓練ステップ数の観点から、通常のNMTモデルよりも収束が速く、最適化効率が向上していることが示された。
• ドメイン固有のTMを組み合わせても性能向上が顕著ではなく、ドメイン外のメモリはあまり有用ではなく、ドメイン内メモリがより効果的であることが示された。