[論文レビュー] Self-Training for Unsupervised Neural Machine Translation in Unbalanced Training Data Scenarios

Haipeng Sun, Rui Wang+4 more|arXiv (Cornell University)|Apr 9, 2020

Natural Language Processing Techniques参考文献 19被引用数 4

ひとこと要約

本稿では、一方の言語のモノリンガルデータが他方よりも著しく少ない状況（非対称なモノリンガルデータ）において、自己学習メカニズムであるST-UTおよびST-PTを提案する。バックトランスレーションによって生成された合成平行データを活用し、反復的にモデルを精錬することで、ベースラインのUNMTに比べて翻訳性能が2–4 BLEUポイント向上し、特に低リソース言語の翻訳に顕著な効果を示す。

ABSTRACT

Unsupervised neural machine translation (UNMT) that relies solely on massive monolingual corpora has achieved remarkable results in several translation tasks. However, in real-world scenarios, massive monolingual corpora do not exist for some extremely low-resource languages such as Estonian, and UNMT systems usually perform poorly when there is not adequate training corpus for one language. In this paper, we first define and analyze the unbalanced training data scenario for UNMT. Based on this scenario, we propose UNMT self-training mechanisms to train a robust UNMT system and improve its performance in this case. Experimental results on several language pairs show that the proposed methods substantially outperform conventional UNMT systems.

研究の動機と目的

• 一方の言語のモノリンガルデータが他方よりも著しく少ない状況（「非対称な学習データ」と呼ばれる）において、無教師ニューラル機械翻訳（UNMT）の性能が著しく低下する問題に対処すること。
• モデルが低リソース言語に過剰適合し、高リソース言語の豊富なコーパスを十分に活用しないというUNMTの失敗モードを特定すること。
• 高リソース言語の豊富なモノリンガルデータを効果的に活用する自己学習戦略を開発すること。
• バックトランスレーションによって生成された合成平行データをUNMT学習に効果的に統合することで、モデルの頑健性と性能を向上させることを実証すること。

提案手法

• 二言語のモノリンガルデータサイズに顕著な差がある状況を、非対称な学習データのシナリオとして定義する。例えば、5000万語の英語と200万語のフランス語の文。
• ST-UT（非教師付き学習を用いた自己学習）を提案：前回のモデル反復で生成された合成平行データを、次回の学習ステップで「ターゲットのみ」のデータとして使用する。
• ST-PT（偽教師付き学習を用いた自己学習）を提案：合成平行データを学習目的において「ソース」としての両方の役割に使用することで、偽平行データのより直接的な統合を可能にする。
• クロスリンガル事前学習とノイズ除去自己オートエンコーダーを備えたTransformerベースのXLMフレームワークに、自己学習メカニズムを統合する。
• バックトランスレーション損失を用いてモデルを学習する：偽平行ペアを用いて、元のソースをターゲットから再構築する際の期待対数尤度を最大化し、逆方向に対しても同様に実行する。
• 全言語ペアで共通の60,000語のサブワードボキャブラリーを用い、ケースセンシティブな4-gram BLEUスコアを複数の言語ペア（En-Fr, En-Ro, En-Et）で評価に使用する。

実験結果

リサーチクエスチョン

• RQ1 一方の言語のモノリンガルデータが他方よりも著しく少ない場合、UNMTの性能はどの程度低下するのか？
• RQ2 自己学習メカニズムは、高リソース言語の豊富なモノリンガルコーパスを効果的に活用して、低リソース設定における翻訳性能を向上させることができるか？
• RQ3 合成平行データを「ソース」と「ターゲット」の両方として使用する（ST-PT）戦略は、それを「ターゲットのみ」として使用する（ST-UT）戦略よりも優れた性能を示すか？
• RQ4 自己学習は、非対称なUNMTシナリオにおいて、過剰適合を緩和し、収束性を向上させるのにどの程度有効か？
• RQ5 提案手法は、多様な低リソース言語ペアにおいて、標準的なUNMTベースラインと比較してBLEUスコアでどの程度優れているか？

主な発見

• 非対称な設定（例：5000万語の英語 vs. 200万語のフランス語）では、5000万/5000万語のバランスの取れたデータと比較して、UNMT性能が4–5 BLEUポイント低下する。これは、大規模なモノリンガルコーパスが十分に活用されていないことを示している。
• ST-PT戦略はST-UTを平均1 BLEUポイント上回り、合成データの二重利用がモデル学習を強化することを示している。
• 提案された自己学習メカニズムにより、En-Fr、En-Ro、En-Etの各言語ペアにおいて、ベースラインUNMT性能が2–4 BLEUポイント向上した。
• フランス語のモノリンガル文がたった200万語のEn-Frペアでは、ST-PTが31.84のBLEUスコアを達成し、ベースラインの30.91を著しく上回った。
• 事例研究では、ST-PTが文の自然さと正確性を向上させた：例として「tööd ma ei karda」を「I’m not afraid of work」に正しく翻訳したが、ベースラインでは「work I’m not afraid of」と誤って翻訳した。
• 自己学習、特にST-PTを用いることで、低リソース言語における過剰適合を回避し、収束性が向上する。これは、合成データのより効果的な活用に起因する。