[論文レビュー] Learning to Reuse Translations: Guiding Neural Machine Translation with Examples

Qian Cao, Shaohui Kuang+1 more|arXiv (Cornell University)|Nov 25, 2019

Natural Language Processing Techniques参考文献 33被引用数 4

ひとこと要約

この論文は、類似した例文からの関連する翻訳セグメントを再利用することでNMTを向上させる、例示誘導型ニューラル機械翻訳（EGNMT）というフレームワークを提案する。2つのモデルを導入する：例文内の不要な語をフィルタリングするためのノイズマスクエンコーダーと、主デコーダーが再利用可能なフレーズを予測するのを共同で学習させる補助デコーダーで、複数の言語対でベースラインシステム比最大+9 BLEUポイントの向上を達成した。

ABSTRACT

In this paper, we study the problem of enabling neural machine translation (NMT) to reuse previous translations from similar examples in target prediction. Distinguishing reusable translations from noisy segments and learning to reuse them in NMT are non-trivial. To solve these challenges, we propose an Example-Guided NMT (EGNMT) framework with two models: (1) a noise-masked encoder model that masks out noisy words according to word alignments and encodes the noise-masked sentences with an additional example encoder and (2) an auxiliary decoder model that predicts reusable words via an auxiliary decoder sharing parameters with the primary decoder. We define and implement the two models with the state-of-the-art Transformer. Experiments show that the noise-masked encoder model allows NMT to learn useful information from examples with low fuzzy match scores (FMS) while the auxiliary decoder model is good for high-FMS examples. More experiments on Chinese-English, English-German and English-Spanish translation demonstrate that the combination of the two EGNMT models can achieve improvements of up to +9 BLEU points over the baseline system and +7 BLEU points over a two-encoder Transformer.

研究の動機と目的

• ニューラル機械翻訳（NMT）が、類似した例文からの翻訳セグメントを効果的に再利用できるようにすること。
• 例文翻訳における再利用可能なフレーズとノイズや不一致コンテンツを区別する課題に対処すること。
• コアアーキテクチャを変更せずに、例示ガイドをNMTデコーディングプロセスに統合できる学習可能でエンドツーエンドのフレームワークを開発すること。
• 低相似度および高相似度の例文翻訳を補完的なモデリング戦略で活用することで翻訳品質を向上させること。

提案手法

• ノイズマスクエンコーダー（NME）モデルは、語の対応関係を用いて例文翻訳内の非関連語を特別トークン<X>でマスクし、クリーンアップされたシーケンスを符号化する。
• 補助デコーダー（AD）モデルは、主デコーダーとパラメータを共有し、非一致部分が<X>に置き換えられた参照翻訳のマスク版を予測するように学習する。
• 補助デコーダーは主デコーダーと共同で学習され、これにより主モデルが例文翻訳から再利用可能なフレーズを生成するように学習できる。
• このフレームワークはTransformerアーキテクチャ上に実装されており、任意のエンコーダ-デコーダベースのNMTシステムに適用可能である。
• NMEとADモデルを組み合わせることで、相補的な強みを活かす：NMEは低FMS（ファズィーマッチスコア）例文でノイズをフィルタリングする点で優れるが、ADは高FMS例文で直接再利用を教える点で優れている。

実験結果

リサーチクエスチョン

• RQ1 NMTは、ノイズや不一致コンテンツをフィルタリングしながら、類似した例文からの関連する翻訳断片を効果的に再利用できるか？
• RQ2 アーキテクチャを変更せずに、主NMTデコーダーが例文翻訳から学習できるか？
• RQ3 翻訳例の類似度レベルが異なる状況下で、ノイズマスクと補助デコーディングの相対的寄与度は何か？
• RQ4 統合フレームワークとして、ノイズマスクと補助デコーディングを併用することで、ベースラインや単一モデル手法を上回る性能が達成できるか？

主な発見

• EGNMTフレームワークは、中国語-英語、英語-ドイツ語、英語-スペイン語翻訳タスクにおいて、ベースラインのTransformerモデル比最大+9.0 BLEUポイントの向上を達成した。
• 補助デコーダー（AD）モデルは高FMS（ファズィーマッチスコア）例文で最高の性能を示したが、ノイズマスクエンコーダー（NME）は低FMS例文で最も優れた性能を発揮した。
• 統合されたEGNMTモデルは、全FMSレベルで再利用可能な語の生成において最高のF1スコアを達成し、精度と再現率のバランスが図れていることを示した。
• 注意可視化の結果、最終モデルは例文の再利用可能な翻訳断片に正しく注目しているのに対し、ベースラインは例文全体にランダムに注目していることが確認された。
• モデルは、誤った語の対応関係により例文翻訳の8.1%の語をフィルタリングしたが、依然として高い再利用精度を維持した。
• このフレームワークは汎用的であり、任意のTransformerベースのNMTシステムに適用可能で、翻訳メモリやドメイン適応への統合の可能性を有する。