[論文レビュー] Self-supervised and Supervised Joint Training for Resource-rich Machine Translation

Yong Cheng, Wei Wang.+2 more|arXiv (Cornell University)|Jun 8, 2021

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿では、資源豊富なニューラル機械翻訳の性能向上を目的として、$F_{2}$-XEnDecを提案する。これは、クロスオーバー符号化器-デコーダー機構を用いて、単語言語（自己教師あり）と並列（教師あり）文を融合する、新しい共同学習フレームワークである。混合入力から$F_2$-世代の出力を生成することで、WMT’14 英語-フランス語で46.19 BLEUという最先端の性能を達成するとともに、コードスイッチングなどの入力摂動に対しても耐性が向上する。

ABSTRACT

Self-supervised pre-training of text representations has been successfully applied to low-resource Neural Machine Translation (NMT). However, it usually fails to achieve notable gains on resource-rich NMT. In this paper, we propose a joint training approach, $F_2$-XEnDec, to combine self-supervised and supervised learning to optimize NMT models. To exploit complementary self-supervised signals for supervised learning, NMT models are trained on examples that are interbred from monolingual and parallel sentences through a new process called crossover encoder-decoder. Experiments on two resource-rich translation benchmarks, WMT'14 English-German and WMT'14 English-French, demonstrate that our approach achieves substantial improvements over several strong baseline methods and obtains a new state of the art of 46.19 BLEU on English-French when incorporating back translation. Results also show that our approach is capable of improving model robustness to input perturbations such as code-switching noise which frequently appears on social media.

研究の動機と目的

• ラベル付きデータが豊富に存在する資源豊富な機械翻訳設定において、自己教師あり事前学習の有効性が限定的であるという問題に取り組むこと。
• 共同学習において、通常は優位な教師あり信号が弱い自己教師あり信号を圧倒してしまうという問題を克服すること。
• 未ラベルの単語言語文とラベル付きの並列文からの補完的信号を効果的に活用できる統一的で単一段階の学習パラダイムを構築すること。
• ソーシャルメディアのような環境で一般的なコードスイッチングノイズのような入力摂動に対して、モデルの耐性を向上させること。

提案手法

• 2つの入力例（単語言語文と並列文）を受け取り、ソース文のシャッフルと条件付きデコードによって混合されたハイブリッド文ペアを生成する、クロスオーバー符号化器-デコーダー（XEnDec）機構を提案する。
• XEnDecを用いて$F_1$および$F_2$世代を生成する：$F_1$-XEnDecはノイズを含む単語言語文を用いて自己教師あり学習を実施するが、$F_2$-XEnDecは単語言語文と並列入力を融合して共同学習を実現する。
• ソース空間での非線形混合戦略を適用し、部分的で混合されたソース表現から完全なターゲットシーケンスを再構築させることで、分離と一般化を促進する。
• 教師あり翻訳損失と$F_1$および$F_2$世代における自己教師あり再構築損失を組み合わせたマルチタスク目的関数を採用する。
• 自己教師あり事前学習を共同フレームワーク内でするため、$F_1$-XEnDecのためのノイズ関数$n(\mathbf{y}^u)$を導入する。
• 単一段階の学習ループを用い、事前学習済みコンponentを凍結しないで、WMT’14 英語-ドイツ語および英語-フランス語ベンチマーク（バックトランスレーションデータを含む）で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習信号が、教師あり目的と共同で学習させた場合、資源豊富な機械翻訳設定で顕著な性能向上をもたらすことができるか？
• RQ2 自己教師ありと教師あり信号を、信号の優位性や深刻な忘却を避けるために、単一段階の学習で効果的に統合できるか？
• RQ3 提案された$F_2$-XEnDecフレームワークは、低資源またはソーシャルメディアのような環境で一般的なコードスイッチングノイズに対して、モデルの耐性を向上させるか？
• RQ4 XEnDec機構は、制御されたデータ混合を通じて、従来の自己教師ありおよび教師あり学習目的を回復または上回ることができるか？
• RQ5 $F_2$-XEnDecによる共同学習は、事前学習表現を凍結またはわずかに微調整する従来の二段階微調整手法と比較して、性能と一般化能力に優れているか？

主な発見

• バックトランスレーションを組み合わせた場合、WMT’14 英語-フランス語翻訳ベンチマークで46.19 BLEUという、新たな最先端のBLEUスコアを達成した。
• 英語-ドイツ語ではベースラインのTransformerよりも2.13 BLEUポイント、英語-フランス語では1.78 BLEUポイントの性能向上を示した。
• コードスイッチングノイズのような入力摂動に対して、従来の二段階微調整手法では観察されなかった優れた耐性を示した。
• アブレーションスタディにより、$F_2$-生成とノイズ関数$n(\mathbf{y}^u)$の両方が性能に不可欠であることが確認され、それらを除去すると性能が低下した。
• Mixupに基づくデータ混合はXEnDecより劣っており、この文脈では線形補間よりも非線形混合と構造的分離がより効果的であることが示された。
• 単一段階の共同学習フレームワークは、事前学習表現を凍結またはわずかに微調整する二段階手法を上回り、エンドツーエンドの共同最適化が自己教師あり信号の潜在能力を最大限に引き出せることを示した。