[論文レビュー] Multilingual Neural Machine Translation for Zero-Resource Languages

Surafel M. Lakew, Marcello Federico+2 more|arXiv (Cornell University)|Sep 16, 2019

Natural Language Processing Techniques参考文献 44被引用数 4

ひとこと要約

本稿では、英語、イタリア語、ルーマニア語の間で共有された意味的表現を用いて、低リソース言語対におけるゼロショット翻訳の性能を向上させる、マルチリンガルニューラル機械翻訳（NMT）フレームワークを提案する。モデル自身の翻訳から生成されたモノリンガルデータに対して反復的に自己学習を行うことで、完全に教師ありのバイリンガルシステムと同等の性能を達成し、ピvォティングベースラインを上回り、低リソース環境下でも効果的なパラメータ転送を示している。

ABSTRACT

In recent years, Neural Machine Translation (NMT) has been shown to be more effective than phrase-based statistical methods, thus quickly becoming the state of the art in machine translation (MT). However, NMT systems are limited in translating low-resourced languages, due to the significant amount of parallel data that is required to learn useful mappings between languages. In this work, we show how the so-called multilingual NMT can help to tackle the challenges associated with low-resourced language translation. The underlying principle of multilingual NMT is to force the creation of hidden representations of words in a shared semantic space across multiple languages, thus enabling a positive parameter transfer across languages. Along this direction, we present multilingual translation experiments with three languages (English, Italian, Romanian) covering six translation directions, utilizing both recurrent neural networks and transformer (or self-attentive) neural networks. We then focus on the zero-shot translation problem, that is how to leverage multi-lingual data in order to learn translation directions that are not covered by the available training material. To this aim, we introduce our recently proposed iterative self-training method, which incrementally improves a multilingual NMT on a zero-shot direction by just relying on monolingual data. Our results on TED talks data show that multilingual NMT outperforms conventional bilingual NMT, that the transformer NMT outperforms recurrent NMT, and that zero-shot NMT outperforms conventional pivoting methods and even matches the performance of a fully-trained bilingual system.

研究の動機と目的

• 並列学習データが乏しいもしくは存在しない低リソース言語翻訳の課題に対処すること。
• トレーニングデータに含まれない言語対間のゼロショット翻訳を、マルチリンガルNMTが向上させられるかを検討すること。
• モノリンガルデータを活用して反復的にゼロショット翻訳性能を向上させる自己学習手法を開発すること。
• 再帰的NMTとTransformerアーキテクチャの両者がマルチリンガルおよびゼロショット設定でどれほど効果的であるかを比較すること。
• 自己学習がゼロショット翻訳システムと完全に教師ありの翻訳システムとの性能格差を埋めることを実証すること。

提案手法

• 英語、イタリア語、ルーマニア語の3言語の並列データを用いて、翻訳方向を条件付ける言語固有トークンを用いて、1つのマルチリンガルNMTモデルを学習する。
• 直接的な並列データが存在しないにもかかわらず、イタリア語とルーマニア語の間での翻訳を実行するゼロショット翻訳設定を適用する。
• 反復的自己学習ループを実装：モデルから生成されたモノリンガル翻訳を生成し、フィルタリングおよび最良の仮説に基づいて再学習し、複数ラウンドにわたり繰り返す。
• 両方向（例：イタリア語→ルーマニア語およびルーマニア語→イタリア語）で並列データに類似したデータを同時に生成する二重推論戦略を用いる。
• ホールドアウトされたテストセットにおけるBLEUスコアを用いて性能を評価し、バイリンガルベースラインおよびピvォティング手法と比較する。
• 自己学習を5ラウンドにわたり微調整し、各ラウンドで拡張データに対して最大3エポックを実行する。

実験結果

リサーチクエスチョン

• RQ1 共有表現を用いたマルチリンガルNMTは、低リソース言語対におけるゼロショット翻訳性能を向上させることができるか？
• RQ2 ゼロショット設定において、マルチリンガルNMTの性能は、従来のバイリンガルNMTおよびピvォティング手法と比べてどの程度優れているか？
• RQ3 モデルが生成したモノリンガルデータを用いた反復的自己学習は、ゼロショット翻訳品質をどの程度向上させられるか？
• RQ4 マルチリンガルおよびゼロショット翻訳シナリオにおいて、Transformerアーキテクチャは再帰的NMTを上回る性能を示すか？
• RQ5 モデルが生成したデータに対する自己学習は、最終的に完全に教師ありのバイリンガルシステムの性能に達するか、あるいはそれを上回るか？

主な発見

• 共有パラメータを用いたマルチリンガルNMTモデルは、低リソース環境下で従来のバイリンガルNMTシステムを上回り、言語間でパラメータを共有することで高いBLEUスコアを達成した。
• Transformerアーキテクチャは、ゼロショット設定を含むすべての翻訳方向で、再帰的NMTモデルを一貫して上回った。
• 最初のラウンドで、反復的自己学習によりイタリア語→ルーマニア語翻訳で+10.50 BLEUポイント（4.72から15.22に）、ルーマニア語→イタリア語翻訳で+11.22 BLEUポイント（5.09から16.31に）の向上を達成した。
• 5ラウンドの自己学習を経て、イタリア語→ルーマニア語で20.11 BLEU、ルーマニア語→イタリア語で22.41 BLEUのスコアを達成し、完全に教師ありのバイリンガルシステム（それぞれ20.10および21.36 BLEU）と同等またはわずかに上回った。
• 自己学習アプローチは、単一言語対およびマルチリンガルピvォティング手法を上回り、5ラウンド目における2つのゼロショット方向で、マルチリンガルピvォティング手法よりも+3.34および+3.02 BLEUのスコア向上を達成した。
• 結果から、モデルが生成したデータに対する自己学習は、時間経過とともにクリアで高品質な翻訳を生み出すことが示され、効果的な自己補正と段階的学習が行われていることが明らかになった。