[論文レビュー] Code-switching pre-training for neural machine translation

Zhen Yang, Bojie Hu+3 more|arXiv (Cornell University)|Sep 17, 2020

Natural Language Processing Techniques参考文献 34被引用数 4

ひとこと要約

本論文では、教師なし単語埋め込みマッピングを用いて、元の言語の単語をその翻訳語にランダムに置き換えることで、クロスリンガルアライメントを強化する、ニューラル機械翻訳（NMT）のための新規事前学習手法であるコードスイッチング事前学習（CSP）を提案する。CSPは、教師ありおよび教師なしNMTの性能を著しく向上させ、コードスイッチド入力をより効果的に処理できるようにし、自社内テストセットにおいてマルチリンガルベースラインより+2.3および+3.0 BLEUポイントの向上を達成した。

ABSTRACT

This paper proposes a new pre-training method, called Code-Switching Pre-training (CSP for short) for Neural Machine Translation (NMT). Unlike traditional pre-training method which randomly masks some fragments of the input sentence, the proposed CSP randomly replaces some words in the source sentence with their translation words in the target language. Specifically, we firstly perform lexicon induction with unsupervised word embedding mapping between the source and target languages, and then randomly replace some words in the input sentence with their translation words according to the extracted translation lexicons. CSP adopts the encoder-decoder framework: its encoder takes the code-mixed sentence as input, and its decoder predicts the replaced fragment of the input sentence. In this way, CSP is able to pre-train the NMT model by explicitly making the most of the cross-lingual alignment information extracted from the source and target monolingual corpus. Additionally, we relieve the pretrain-finetune discrepancy caused by the artificial symbols like [mask]. To verify the effectiveness of the proposed method, we conduct extensive experiments on unsupervised and supervised NMT. Experimental results show that CSP achieves significant improvements over baselines without pre-training or with other pre-training methods.

研究の動機と目的

• 既存の事前学習手法で用いられる[mask]のような人工トークンが引き起こす事前学習と微調整の乖離を是正すること。
• 単言語コーパスからのクロスリンガルアライメント信号を活用して、NMTの事前学習を改善すること。
• 標準的なNMTモデルアーキテクチャとサイズを維持する、本番環境で利用可能な事前学習手法を開発すること。
• 現実の多言語環境で一般的に見られるコードスイッチド入力の性能を向上させること。
• 推論コストを増加させるモデル統合や大規模事前学習エンコーダーへの依存を減らすこと。

提案手法

• 元言語と対象言語間の教師なし単語埋め込みマッピングを実行し、二語対応語彙を生成する。
• 生成された語彙から、元の文の単語をその対象言語訳語にランダムに置き換えることで、コードミックス入力を生成する。
• エンコーダーがコードミックス文を処理し、デコーダーが元の元言語単語を予測するエンコーダー・デコーダー型モデルを学習する。
• 置き換えられた断片にマスク言語モデリングの目的関数を適用し、モデルが文レベル表現とクロスリンガルアライメントの両方を学習できるようにする。
• 並列データを必要とせず、単語の事前学習を単言語の元言語および対象言語コーパス上で実行する。
• バックトランスレーションを用いるか、用いないかにかかわらず、標準的なNMTタスクで事前学習モデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 単語の事前学習手法が、単言語データからのクロスリンガル単語ペアのアライメントを明示的に活用することで、NMT性能を向上させられるか？
• RQ2 CSPは、[mask]のような人工トークンを用いる手法と比較して、事前学習と微調整の乖離を低減できるか？
• RQ3 事前学習済みNMTモデルは、標準的またはマルチリンガルモデルと比較して、コードスイッチド入力をより効果的に処理できるか？
• RQ4 NMTモデルのどのコンponentがCSP事前学習によって最も恩恵を受けるか？
• RQ5 CSPは、教師ありおよび教師なし翻訳設定の両方で、既存の事前学習手法と比較して優れているか？

主な発見

• CSPは、英語→ドイツ語翻訳タスクで28.9 BLEUを達成し、事前学習なしのベースライン（28.4）および他の事前学習手法を上回った。
• 英語→フランス語翻訳では、CSPが38.8 BLEUを達成し、ベースライン（38.5）および他の事前学習ベースラインを上回った。
• 自社内コードスイッチドテストセットでは、CSPはテストAおよびテストBの両方でマルチリンガルベースラインより+2.3および+3.0 BLEUポイントの向上を示した。
• アブレーションスタディの結果、事前学習済みエンコーダーとアテンションモジュールが最も重要なコンponentであることが判明したが、事前学習済みデコーダーは事前学習と微調整の不一致のため、ほとんど影響を及ぼさなかった。
• 本手法は、現実の使用状況でよく見られる混合言語入力パターンに対して、強力な耐性を示し、コードスイッチド入力を効果的に処理できた。
• CSPはモデル構造とサイズを維持しており、モデル統合や追加の推論オーバーヘッドを必要とせず、本番環境で利用可能である。