[論文レビュー] Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters

Asa Cooper Stickland, Alexandre Bérard+1 more|arXiv (Cornell University)|Oct 18, 2021

Natural Language Processing Techniques被引用数 10

ひとこと要約

この論文は、言語とドメイン情報を分離するアダプタモジュールを用いた、多言語ニューラル機械翻訳（NMT）のドメイン適応手法を提案している。この手法により、モデル全体の再訓練を伴わず、パラメータ効率的かつ効率的なドメインおよび言語の適応が可能になる。デコーダー専用のドメインアダプタに加え、ドメインアダプタドロップアウトと英語中心のバックトランスレーションを組み合わせることで、深刻な忘却を軽減し、ドメイン外の言語対において、ドメイン内データが存在しない状況でも3–4 BLEUの向上を達成する。

ABSTRACT

Adapter layers are lightweight, learnable units inserted between transformer layers. Recent work explores using such layers for neural machine translation (NMT), to adapt pre-trained models to new domains or language pairs, training only a small set of parameters for each new setting (language pair or domain). In this work we study the compositionality of language and domain adapters in the context of Machine Translation. We aim to study, 1) parameter-efficient adaptation to multiple domains and languages simultaneously (full-resource scenario) and 2) cross-lingual transfer in domains where parallel data is unavailable for certain language pairs (partial-resource scenario). We find that in the partial resource scenario a naive combination of domain-specific and language-specific adapters often results in `catastrophic forgetting' of the missing languages. We study other ways to combine the adapters to alleviate this issue and maximize cross-lingual transfer. With our best adapter combinations, we obtain improvements of 3-4 BLEU on average for source languages that do not have in-domain data. For target languages without in-domain data, we achieve a similar improvement by combining adapters with back-translation. Supplementary material is available at https://tinyurl.com/r66stbxj

研究の動機と目的

• モデル全体の再訓練を伴わず、新しいドメインや言語に多言語NMTモデルを効率的かつパラメータ効率的に適応できるようにすること。
• 一部の言語対にドメイン内データが存在しない部分リソース状況において、深刻な忘却を解決すること。
• NMTにおけるクロスリンガルドメイン転移を実現するため、言語アダプタとドメインアダプタを効果的に組み合わせる方法を調査すること。
• アダプタ配置と正則化を最適化することで、ドメイン外言語へのゼロショット転移性能を向上させること。
• パフォーマンス、モularity、スケーラビリティの観点から、アダプタベースの適応と従来のドメインタグ微調整を比較すること。

提案手法

• Transformerブロックの間に軽量なアダプタレイヤーを挿入することで、多言語NMTモデルのパラメータ効率的微調整を可能にする。
• 言語アダプタ（LAs）とドメインアダプタ（DAs）を別々に訓練し、その後、マルチドメイン・マルチリンガル推論用に統合する。
• ドメインアダプタドロップアウト（DADrop）を用いて訓練を正則化し、特定のドメインへの過学習を軽減することで、未観測言語への一般化性能を向上させる。
• 英語中心のバックトランスレーションを適用し、モノリンガルなドメイン内データを拡張することで、ドメイン外のターゲット言語での性能を向上させる。
• エンコーダー専用、デコーダー専用、またはフルレイヤーの異なるアダプタ配置を実験し、パフォーマンスと忘却への影響を比較する。
• 全リソース（すべての言語対にドメイン内データが存在する）および部分リソース（一部の言語対にのみドメイン内データが存在する）の両設定でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 多言語NMTにおいて、言語アダプタとドメインアダプタを効果的に組み合わせることで、クロスリンガルドメイン転移を実現できるか？
• RQ2 言語アダプタとドメインアダプタを単純に組み合わせると、ドメイン外言語の推論時に深刻な忘却が生じるか？
• RQ3 アダプタ配置（エンコーダー専用対比デコーダー専用対比フルレイヤー）が、部分リソース状況下でのパフォーマンスと一般化性能にどのように影響するか？
• RQ4 ドメインアダプタドロップアウトやバックトランスレーションといった正則化技術が、深刻な忘却を軽減し、未観測言語へのゼロショット転移を向上させられるか？
• RQ5 パフォーマンス、パラメータ効率、モularityの観点から、アダプタベースの適応と従来のドメインタグ微調整を比較すると、どのような差異が生じるか？

主な発見

• デコーダー専用ドメインアダプタに加え、ドメインアダプタドロップアウトとバックトランスレーションを組み合わせることで、ドメイン内データが存在しないドメイン外のソース言語において、平均して3–4 BLEUの向上を達成する。
• エンコーダー専用ドメインアダプタは、フルレイヤーやデコーダー専用の設定と比較して、深刻な忘却を軽減し、ドメイン外言語でのパフォーマンスを向上させる。
• 言語アダプタとドメインアダプタを単純に組み合わせると、その言語にドメイン内データが存在しない場合、誤った言語への翻訳が発生する。
• 凍結された言語アダプタと1層あたり1つのアダプタを用いることで、調整可能なパラメータがたった630万個のモデルが、7900万パラメータのタグベースモデルを上回る性能を示し、モジュラーかつ段階的なドメイン適応を可能にする。
• バックトランスレーションはドメイン外ターゲット言語でのパフォーマンスを向上させるが、ドメイン外ソース言語では性能を低下させることがある。これは、データ拡張戦略におけるトレードオフを示している。
• アダプタベースのモデルは、タグベースのモデルよりもモジュラーかつスケーラブルであり、新しいドメインを追加する際は、モデル全体の再訓練を伴わず、新しいアダプタのみを訓練すればよい。