[論文レビュー] Universal Conditional Masked Language Pre-training for Neural Machine Translation

Pengfei Li, Liangyou Li+3 more|arXiv (Cornell University)|Mar 17, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、大規模な単語対訳コーパスと単言語コーパスを用いて、条件付きマスキング言語モデル化（CMLM）を用いた双方向デコーダーで事前学習された多言語的シーケンス・ツー・シーケンスモデル、CeMATを提案する。本稿では、クロスリンガル表現学習を強化する2つの新しいマスキング戦略、すなわち「アラインド・コードスイッチィング＆マスキング」と「ダイナミック・デュアルマスキング」を導入した。これにより、低リソース環境で最大+14.4 BLEU、平均的に+7.9 BLEUのSOTAスコアを達成した。また、非自己回帰的NMTでは最大+5.3 BLEUの向上を示した。

ABSTRACT

Pre-trained sequence-to-sequence models have significantly improved Neural Machine Translation (NMT). Different from prior works where pre-trained models usually adopt an unidirectional decoder, this paper demonstrates that pre-training a sequence-to-sequence model but with a bidirectional decoder can produce notable performance gains for both Autoregressive and Non-autoregressive NMT. Specifically, we propose CeMAT, a conditional masked language model pre-trained on large-scale bilingual and monolingual corpora in many languages. We also introduce two simple but effective methods to enhance the CeMAT, aligned code-switching & masking and dynamic dual-masking. We conduct extensive experiments and show that our CeMAT can achieve significant performance improvement for all scenarios from low- to extremely high-resource languages, i.e., up to +14.4 BLEU on low resource and +7.9 BLEU improvements on average for Autoregressive NMT. For Non-autoregressive NMT, we demonstrate it can also produce consistent performance gains, i.e., up to +5.3 BLEU. To the best of our knowledge, this is the first work to pre-train a unified model for fine-tuning on both NMT tasks. Code, data, and pre-trained models are available at https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/CeMAT.

研究の動機と目的

• 自己回帰的NMTの性能を向上させるために、単一のシーケンス・ツー・シーケンスモデルを双方向デコーダーで事前学習することにより、単方向デコーダーに依存するのではなく、性能を向上させること。
• 非自己回帰的NMT（NAT）における性能ギャップを解消するために、表現能力をよりよく捉えることができる事前学習初期化を提供すること。
• 言語間で意味をアラインする新しいマスキング戦略を用いて、クロスリンガルおよびイントラリンガル表現学習を強化すること。
• 自己回帰的および非自己回帰的NMTタスクの両方のための事前学習を統合し、別個のモデル初期化の必要性を排除すること。
• 条件付きマスキングで事前学習された双方向デコーダーが、生成および表現学習の両面で標準的な単方向デコーダーを上回ることを検証すること。

提案手法

• 双方向エンコーダー、双方向デコーダー、およびそれらを接続するためのクロスアテンションモジュールを備えた多言語的シーケンス・ツー・シーケンスモデル、CeMATを提案する。
• 単語対訳コーパスを用いた条件付きマスキング言語モデル化（CMLM）と、単言語コーパスを用いたマスキング言語モデル化（MLM）を用いてモデルを事前学習する。
• アラインド・コードスイッチィング＆マスキングを導入：元のソース語をその翻訳語とアラインし、その後、他の言語の意味的に類似した語に置き換えながら、対応するターゲット語をマスキングする。
• 動的デュアルマスキングを適用：トレーニング中に適応的に変化する動的マスキング戦略を用いて、ソースおよびターゲット言語の残りの語をマスキングする。
• 多数の言語で構成される大規模な単言語および双方向コーパスを用いて、統合的なフレームワーク内でモデルを事前学習する。
• 再初期化を伴わず、自己回帰的および非自己回帰的NMTタスクの両方で、事前学習済みのCeMATモデルを直接微調整する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのシーケンス・ツー・シーケンスモデルにおける双方向デコーダーが、自己回帰的および非自己回帰的NMTの両方で単方向デコーダーを上回ることができるか？
• RQ2 条件付きマスキングで事前学習された統合モデルが、クロスリンガル表現学習および低リソースおよび高リソース言語ペアの両方における一般化性能を向上させることができるか？
• RQ3 アラインド・コードスイッチィング＆マスキングが、事前学習段階で言語間の意味的表現を効果的にアラインできるか？
• RQ4 ダイナミック・デュアルマスキングが、デコーダーが関連するソース側の文脈に適切に注目できる能力を向上させ、生成品質を改善できるか？
• RQ5 1つの事前学習済みモデルが、タスク固有の再初期化を伴わず、自己回帰的および非自己回帰的NMTの両方の初期化として効果的に機能できるか？

主な発見

• CeMATは、100万ビテキストペア未満の低リソースNMT設定において、ベースライン比で最大+14.4 BLEUの向上を達成した。
• 自己回帰的NMTでは、複数の言語ペアで平均して最大+7.9 BLEUの向上を示した。これは、2500万ビテキストペア以上の高リソース設定でも同様に有効であった。
• 非自己回帰的NMTでは、一貫した+5.3 BLEUの向上を達成し、並列デコード環境における有効性を示した。
• NATにおける反復的精錬の過程で、より速く安定した収束を示し、ピーク性能に到達するのにたった3〜6イテレーションで十分であった。
• WMT16ルーマニア語→英語タスクにおいて、バックトランスレーションが+2.1 BLEUの性能向上をもたらした。これは、データ拡張技術と互換性があることを示している。
• CeMATは、自己回帰的および非自己回帰的NMTの両方のタスクに適した最初の統合事前学習モデルであり、別個の初期化戦略の必要性を排除した。