[論文レビュー] Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation

Benjamin Marie, Atsushi Fujita|arXiv (Cornell University)|Oct 30, 2018

Natural Language Processing Techniques参考文献 21被引用数 32

ひとこと要約

本論文は、モノリンガルコーパス上で訓練された非教師付き統計的機械翻訳（USMT）システムによって生成された合成並列データを用いて、教師付きNMTアーキテクチャを変更せずに非教師付きニューラル機械翻訳（UNMT）を初期化する手法を提案する。この手法により、WMT16ドイツ語–英語翻訳タスクで新たなSOTAを達成し、de→en翻訳において教師付きシステムとのBLEU差をわずか3.7ポイントにまで縮小した。

ABSTRACT

Recent work achieved remarkable results in training neural machine translation (NMT) systems in a fully unsupervised way, with new and dedicated architectures that rely on monolingual corpora only. In this work, we propose to define unsupervised NMT (UNMT) as NMT trained with the supervision of synthetic bilingual data. Our approach straightforwardly enables the use of state-of-the-art architectures proposed for supervised NMT by replacing human-made bilingual data with synthetic bilingual data for training. We propose to initialize the training of UNMT with synthetic bilingual data generated by unsupervised statistical machine translation (USMT). The UNMT system is then incrementally improved using back-translation. Our preliminary experiments show that our approach achieves a new state-of-the-art for unsupervised machine translation on the WMT16 German--English news translation task, for both translation directions.

研究の動機と目的

• 人為的アノテート済み並列データが存在しない状況で、高品質な非教師付きニューラル機械翻訳（UNMT）システムを訓練する課題に対処すること。
• 翻訳言語間の言語的類縁性を仮定する必要がある、従来のUNMT手法の限界を克服すること。
• 真の並列データの代わりに合成データを用いることで、標準的な教師付きNMTアーキテクチャを非教師付き環境でも利用可能にする。
• 逆翻訳と低品質な合成文のフィルタリングを繰り返し適用することで、UNMTの性能を向上させること。
• USMTによって生成された高品質な合成データが、効果的なUNMTシステムの初期化に不可欠であることを実証すること。

提案手法

• モノリンガルコーパス上で訓練された非教師付き統計的機械翻訳（USMT）システムを用いて、合成並列データを生成する。
• USMTが生成した合成並列データを用いてUNMTモデルを初期化し、標準的なNMTトレーニングパイプラインにおける人為的並列データの代わりに使用する。
• 複数のトレーニングステップにわたり、合成データに対して逆翻訳を繰り返し適用し、UNMTモデルを段階的に改善する。
• 各イテレーションで、信頼度が低いまたはノイズの多い合成文を除外することで、トレーニングの効率性と翻訳品質を向上させる。
• 変更なしの標準的なNMTアーキテクチャ（例：アテンションを備えたエンコーダ–デコーダ型）を用い、合成データを真の並列データと同様に扱う。
• トレーニング中に言語モデルによるフィルタリングを適用し、特に語形変化の多い言語において収束性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非教師付き統計的機械翻訳（USMT）は、非教師付きニューラル機械翻訳（UNMT）システムの初期化に効果的に利用可能か？
• RQ2 USMTから生成された合成データを人為的並列データの代わりに使用することで、標準的なNMTアーキテクチャを用いてSOTAのUNMT性能が達成可能か？
• RQ3 USMTから生成された合成データの品質が、UNMTシステムの最終的性能にどのように影響するか？
• RQ4 繰り返し適用される逆翻訳と合成データのフィルタリングが、UNMT性能にどの程度向上効果をもたらすか？
• RQ5 単一のモノリンガルコーパスに依存するにもかかわらず、ドイツ語–英語のような高リソース言語対においても、本手法は競争力のある結果を達成可能か？

主な発見

• 提案手法は、WMT16ドイツ語–英語ニュース翻訳タスクにおいて、非教師付き機械翻訳の新たなSOTAを達成した。de→en翻訳のBLEUスコアは27.8であった。
• 最良のUNMTシステムは、140万件の並列文で訓練された教師付きNMTシステムと比較して、わずか3.7 BLEUポイントの差にとどまり、教師付きモデルと非常に競争力のある性能を示した。
• 各イテレーションで合成並列文をフィルタリングすることで、4台のGPUで使用したトレーニング時間は52時間から30時間に短縮されたが、翻訳品質は維持または向上した。
• UNMTの2回目のイテレーションで、de→en翻訳では5.4 BLEUポイント、en→de翻訳では0.9 BLEUポイントの品質向上が達成され、明確な改善効果が確認された。
• 調整済みUSMTによって生成された合成データで初期化されたUNMTシステムは、未調整のUSMTデータで初期化されたシステムよりも、de→en翻訳で6.0 BLEUポイント以上優れていた。
• 学習曲線の分析から、初期の合成データの品質を向上させることは、特に初期トレーニング段階において、高品質なUNMT性能を達成する上で極めて重要であることが確認された。