[論文レビュー] Building a Neural Machine Translation System Using Only Synthetic Parallel Data

Jae-Hong Park, Jongyoon Song+1 more|arXiv (Cornell University)|Apr 2, 2017

Natural Language Processing Techniques参考文献 29被引用数 20

ひとこと要約

本稿では、翻訳ペアの両側に実データと合成データの文を混合した新しい合成平行コーパス、PSEUDO mix を提案する。これにより、完全に合成データのみを用いても神経機械翻訳（NMT）システムの有効な訓練が可能になる。実験の結果、PSEUDO mix は双方向翻訳タスクにおいて優れたバランスの取れた性能を達成し、特に実際の平行データによるファインチューニング後、元の合成データとターゲット由来の合成データを上回る性能を示す。

ABSTRACT

Recent works have shown that synthetic parallel data automatically generated by translation models can be effective for various neural machine translation (NMT) issues. In this study, we build NMT systems using only synthetic parallel data. As an efficient alternative to real parallel data, we also present a new type of synthetic parallel corpus. The proposed pseudo parallel data are distinct from previous works in that ground truth and synthetic examples are mixed on both sides of sentence pairs. Experiments on Czech-German and French-German translations demonstrate the efficacy of the proposed pseudo parallel corpus, which shows not only enhanced results for bidirectional translation tasks but also substantial improvement with the aid of a ground truth real parallel corpus.

研究の動機と目的

• 完全に合成平行データのみを用いて競争力のある NMT システムを訓練可能かどうかを調査すること、特に低リソース環境下での可能性を検討すること。
• 既存の合成平行コーパスに見られる、翻訳ペアの一方の側が完全に合成データであるというアンバランスさと品質バイアスの問題を解決すること。
• 双方向翻訳タスクにおけるモデルのロバスト性と性能を向上させる新しい合成コーパスフォーマットを提案すること。
• 実際の平行データによるファインチューニングによって、合成データの品質が NMT の性能に与える影響を評価すること。
• 混合合成・実データが、低リソース機械翻訳において実際の平行コーパスの信頼できる代替手段として機能できることを示すこと。

提案手法

• PSEUDO mix を提案する。これは、翻訳ペアの両側（ソースおよびターゲット）に実データと合成データの文が混合された合成平行コーパスである。
• 特定の翻訳方向について、ソース由来の合成平行データとターゲット由来の合成平行データを統合することでコーパスを構築する。
• アテンション機構を備えたエンコーダ・デコーダアーキテクチャを用いたアテンションベースの NMT モデルを、合成データ上で学習させる。
• 2段階の訓練プロトコルを採用する：まず合成データのみで学習（Pseudo Only）、次に実際の平行データでファインチューニング（Real Fine-tuning）。
• ピボットベースのバックトランスレーションを用いて高品質な合成データを生成し、標準的なバックトランスレーションよりも信頼性を高める。
• チェコ語-ドイツ語およびフランス語-ドイツ語翻訳タスクの標準テストセットを用いて BLEU スコアで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 NMT モデルが完全に合成平行データのみで学習された場合、競争力のある性能を達成できるか？
• RQ2 翻訳ペアの両側に実データと合成データを混合させることで、双方向翻訳タスクにおけるモデルのバランスと性能が向上するか？
• RQ3 合成データの品質が、混合合成・実データコーパスで学習された NMT モデルの性能に与える影響は何か？
• RQ4 実際の平行データによるファインチューニングが、合成データのみで事前学習したモデルをどの程度改善するか？
• RQ5 PSEUDO mix は、片側のみが合成データ（ソースのみまたはターゲットのみ）の既存の合成コーパスよりも、合成データのみの設定およびファインチューニング後の設定の両方で優れた性能を示せるか？

主な発見

• PSEUDO mix は、すべての合成データのみの学習設定の中で、双方向チェコ語-ドイツ語翻訳タスクで最高の BLEU スコアを達成し、ソース由来およびターゲット由来の合成コーパスを上回った。
• フランス語-ドイツ語翻訳タスクにおいて、PSEUDO mix は片側のみが合成データのコーパスと比較して、フランス語→ドイツ語およびドイツ語→フランス語の両方向で著しくバランスの取れた性能を示した。
• 実際の平行データによるファインチューニング後、PSEUDO mix で学習したモデルがすべての実験で最高の BLEU スコアを達成し、ソース由来、ターゲット由来、および実・合成混合コーパスで学習したモデルを上回った。
• ソース由来とターゲット由来の合成データの品質差が小さい場合には、PSEUDO mix が最も顕著な改善を示し、バランスの取れたデータ環境下での有効性が裏付けられた。
• PSEUDO mix に適用した Real Fine-tuning 方式は、実データと合成データを統合したコーパスから直接学習を開始するのよりも優れた性能を示し、混合合成データでの事前学習の価値を示した。
• PSEUDO mix が初期段階で高品質なターゲット由来コーパスに劣っている場合でも、ファインチューニング後の改善幅が最大であり、精錬の可能性が非常に高いことが示された。