[論文レビュー] Unsupervised Machine Translation Using Monolingual Corpora Only

Guillaume Lample, Alexis Conneau+2 more|arXiv (Cornell University)|Oct 31, 2017

Natural Language Processing Techniques参考文献 36被引用数 198

ひとこと要約

この論文は、モノリンガルデータのみを用いて二言語を共有潜在空間に揃えることで翻訳を学習する教師なしニューラル機械翻訳アプローチを提示する。denoising auto-encoding、cross-domain translation、adversarial training によって初期化は word-by-word の教師なし辞書から行われる。

ABSTRACT

Machine translation has recently achieved impressive performance thanks to recent advances in deep learning and the availability of large-scale parallel corpora. There have been numerous attempts to extend these successes to low-resource language pairs, yet requiring tens of thousands of parallel sentences. In this work, we take this research direction to the extreme and investigate whether it is possible to learn to translate even without any parallel data. We propose a model that takes sentences from monolingual corpora in two different languages and maps them into the same latent space. By learning to reconstruct in both languages from this shared feature space, the model effectively learns to translate without using any labeled data. We demonstrate our model on two widely used datasets and two language pairs, reporting BLEU scores of 32.8 and 15.1 on the Multi30k and WMT English-French datasets, without using even a single parallel sentence at training time.

研究の動機と目的

• ゼロ並列データのシナリオで翻訳を動機づけ、半教師あり手法の下限を確立する。
• 二言語を共通の潜在空間にマッピングするエンドツーエンドの無監督MTモデルを開発する。
• denoising auto-encoding、クロスドメイン翻訳、対敵的分布整列を活用して翻訳を学習する。
• ラベル付きデータなしで翻訳品質を改善する反復的な訓練手法を提供する。

提案手法

• 両言語に対して単一のエンコーダ/デコーダを使用し、言語ごとのルックアップテーブルを持つ。
• 両言語でのdenoising auto-encoding損失の組み合わせで訓練する。
• 現在のモデルを用いて言語間で翻訳し、元の文を再構成することでクロスドメイン翻訳目的を組み込む。
• エンコードから言語を予測する識別器を用いて潜在表現を整列させ、エンコーダに欺かせることで対敵的損失を適用する。
• モノリンガルデータから学習した教師なしの単語対訳辞書から初期化し、バックトランスレーションを通じて反復的に改善する。
• オートエンコーディング、クロスドメイン、対敵的損失の加重和として全体の目的関数を最適化し、識別器を共同更新する。
• 反復的訓練(M^(t) -> M^(t+1))を用いて翻訳品質を段階的に改善する。

実験結果

リサーチクエスチョン

• RQ1 二言語のモノリンガルコーパスがあれば、機械翻訳は並列データなしで学習できるのか？
• RQ2 両言語を共有潜在空間にマッピングすることで、跨言語デコーディングは効果的になるのか？
• RQ3 denoising、クロスドメイン再構成、対敵的整列は無監督翻訳の品質にどのように寄与するのか？
• RQ4 反復訓練とモノリンガル資源からの初期化がBLEUスコアに与える影響は？
• RQ5 並列データなしでハイパーパラメータを選択するにはどうするべきか？

主な発見

Dataset	Language Pair	Model/Iteration	BLEU
Multi30k-Task1	en-fr	Our model: 1st iteration	27.48
Multi30k-Task1	en-fr	Our model: 2nd iteration	32.07
Multi30k-Task1	en-fr	Our model: 3rd iteration	32.76
Multi30k-Task1	fr-en	Our model: 1st iteration	28.07
Multi30k-Task1	fr-en	Our model: 2nd iteration	30.49
Multi30k-Task1	fr-en	Our model: 3rd iteration	32.07
Multi30k-Task1	de-en	Our model: 1st iteration	23.69
Multi30k-Task1	de-en	Our model: 2nd iteration	24.73
Multi30k-Task1	de-en	Our model: 3rd iteration	26.26
Multi30k-Task1	en-de	Our model: 1st iteration	19.32
Multi30k-Task1	en-de	Our model: 2nd iteration	21.16
Multi30k-Task1	en-de	Our model: 3rd iteration	22.74
WMT	en-fr	Our model: 1st iteration	12.10
WMT	en-fr	Our model: 2nd iteration	13.49
WMT	en-fr	Our model: 3rd iteration	15.05
WMT	fr-en	Our model: 1st iteration	11.79
WMT	fr-en	Our model: 2nd iteration	14.31
WMT	fr-en	Our model: 3rd iteration	14.31
WMT	de-en	Our model: 1st iteration	9.75
WMT	de-en	Our model: 2nd iteration	9.75
WMT	de-en	Our model: 3rd iteration	13.33
WMT	en-de	Our model: 1st iteration	9.64
WMT	en-de	Our model: 2nd iteration	9.64
WMT	en-de	Our model: 3rd iteration	9.64

• Multi30k-Task1 English-Frenchで、BLEUは1回目の反復から3回目の反復へと27.48から32.76へ改善。
• Multi30k-Task1 English-Germanで、BLEUは1回目の反復から3回目の反復へと23.69から26.26へ改善。
• WMT English-Frenchで、BLEUは1回目の反復から3回目の反復へと12.10から15.05へ改善。
• WMT French-Englishで、BLEUは1回目の反復から3回目の反復へと11.79から14.31へ改善。
• 両言語のモノリンガルデータを用いた教師なしモデルは、約10万の並列文で訓練された監視付きMTシステムと同等の性能をWMT en-frペアで達成する。
• 識別器ベースの対敵的整列とオートエンコーディングおよびクロスドメイン損失の組み合わせは、アブレーション結果から性能にとって不可欠である。