[論文レビュー] Multilingual Multi-Domain Adaptation Approaches for Neural Machine Translation

Chenhui Chu, Raj Dabre|arXiv (Cornell University)|Jun 19, 2019

Natural Language Processing Techniques参考文献 31被引用数 8

ひとこと要約

本論文は、変換器ベースのニューラル機械翻訳(NMT)モデルにおけるドメイン適応のための2つの新規手法—ドメイン特化とドメイン極端化—を提案する。これらの手法は、ドメイン固有の表現や予測バイアスを明示的にモデル化する。これらの手法を混合微調整と組み合わせ、多言語データを統合することで、低リソースドメイン翻訳およびリソース豊富なドメイン外翻訳タスクの両方で、最先端の性能を達成した。

ABSTRACT

In this paper, we propose two novel methods for domain adaptation for the attention-only neural machine translation (NMT) model, i.e., the Transformer. Our methods focus on training a single translation model for multiple domains by either learning domain specialized hidden state representations or predictor biases for each domain. We combine our methods with a previously proposed black-box method called mixed fine tuning, which is known to be highly effective for domain adaptation. In addition, we incorporate multilingualism into the domain adaptation framework. Experiments show that multilingual multi-domain adaptation can significantly improve both resource-poor in-domain and resource-rich out-of-domain translations, and the combination of our methods with mixed fine tuning achieves the best performance.

研究の動機と目的

• ブラックボックス手法に依存せず、ドメイン固有の特徴を明示的にモデル化することで、ニューラル機械翻訳(NMT)における低リソースドメイン翻訳の課題に対処すること。
• 人工トークンの使用やアーキテクチャの変更が欠如する既存のブラックボックスドメイン適応手法の限界を克服し、モデル学習ダイナミクスの曇りを回避すること。
• 多言語および多ドメイン適応を統合した包括的なフレームワークを提示し、多様な言語対およびドメインにおける翻訳性能を向上させること。
• アテンションオンativeな変換器アーキテクチャにおいて、明示的なドメインモデリングの有効性を検証すること。先行研究では、このアーキテクチャがRNNベースのモデルを上回っている。
• 提案手法を混合微調整と組み合わせることで、ドメイン内およびドメイン外翻訳設定の両方で優れた結果が得られることを実証すること。

提案手法

• ドメイン特化を提案：ソフトマックスの前でデコーダー状態を変更し、隠れ状態を複製し、パラメータ増加を抑えるためにダウンプロージェクションを適用することで、ドメイン固有および共有特徴の学習を可能にする。
• ドメイン極端化を導入：各ドメインに対してドメイン固有のバイアスベクトルを学習し、ソフトマックスの直前に最終層のログイットに加算することで、モデルがドメインごとに予測を適応可能にする。
• 両手法を混合微調整(MFT)と統合し、ドメイン内およびドメイン外データを微調整中に統合することで、過学習を防ぎ、ドメイン遷移を滑らかにする。
• 複数の言語対およびドメインで1つのモデルを訓練することで、多言語設定にフレームワークを拡張し、同時にクロスリンガル転送と多ドメインデータを活用する。
• 状態複製に伴うパラメータ増加を抑えるために、学習可能な重み行列 $ W_d \in \mathbb{R}^{|s_i| \times |s_i|/3} $ を使用するダウンプロージェクションを採用し、モデル効率を維持する。
• 人工ドメイントークンを事前に付加しない。代わりに、表現またはバイアス適応を通じて、変更されたデコーダーアーキテクチャがドメインアイデンティティを暗黙的に学習する。

実験結果

リサーチクエスチョン

• RQ1 デコーダーにおけるドメイン固有表現の明示的モデリングは、ブラックボックス手法と比較して、低リソースドメインのNMT性能を向上させるか？
• RQ2 ドメイン固有のバイアスベクトル（ドメイン極端化）を学習することは、標準的な微調整やマルチドメイン学習と比較して、より良い一般化と性能をもたらすか？
• RQ3 多言語および多ドメインデータを組み合わせることで翻訳性能にどのような影響があるか。特にリソースが乏しいドメインおよびドメイン外言語対において。
• RQ4 提案手法を混合微調整と組み合わせることで、ドメイン内およびドメイン外翻訳の両方で性能がさらに向上するか？
• RQ5 多言語性の統合は、ドメイン適応NMTモデルのロバスト性および一般化能力を向上させるか。特にドメインおよび言語リソースが限られた状況で。

主な発見

• ドメイン特化と混合微調整（domspec+MFT）の組み合わせは、IWSLT-JEドメイン内翻訳タスクで27.48のBLEU-4スコアを達成し、ベースラインブラックボックス手法を著しく上回った（p < 0.05）。
• 多言語多ドメイン適応において、domextr+MFTはKFTT-JEで26.50のBLEU-4スコアを達成し、バニラMFTおよび他のベースラインと比較して顕著な向上を示した。
• MFTと組み合わせることで、リソース豊富なドメイン外翻訳方向（例：IWSLT-JEおよびIWSLT-CE）の翻訳性能が最大1.5 BLEUポイント向上し、低リソースドメインを超える一般化能力を示した。
• 多言語設定では、ドメイン特化と極端化をMFTと組み合わせた（domspecextr+MFT）が、IWSLT-JEで17.49 BLEU-4を達成し、ブラックボックス手法および単独MFTを上回った。
• 最良の全体的性能は、多言語多ドメイン適応におけるdomextr+MFT（KFTT-JEで26.50 BLEU-4）で達成され、†によって示され、すべてのデータ設定で最高スコアであった。
• ドメイン内データでのみ微調整すると、ドメイン外性能が著しく低下した（例：IWSLT-JEで6.13 BLEU）。これは、ドメイン外データの使用の必要性と、提案手法による移譲性の向上の価値を確認するものである。