[論文レビュー] Reference Language based Unsupervised Neural Machine Translation

Zuchao Li, Hai Zhao+3 more|arXiv (Cornell University)|Apr 5, 2020

Natural Language Processing Techniques参考文献 48被引用数 5

ひとこと要約

本稿では、教師なしニューラル機械翻訳（UNMT）におけるバックトランスレーション品質の向上を目的として、参照言語との共有平行コーパスを活用するリファレンス言語ベースの教師なしニューラル機械翻訳（RUNMT）フレームワークを提案する。参照言語適合メカニズムを導入することで、多言語間のアライメントが強化され、ノイズの多い擬似平行データが低減され、強力なベースラインを大きく上回るBLEUスコアを達成しており、中国語-ルーマニア語翻訳タスクでは13.66のBLEUスコアを記録した。

ABSTRACT

Exploiting a common language as an auxiliary for better translation has a long tradition in machine translation and lets supervised learning-based machine translation enjoy the enhancement delivered by the well-used pivot language in the absence of a source language to target language parallel corpus. The rise of unsupervised neural machine translation (UNMT) almost completely relieves the parallel corpus curse, though UNMT is still subject to unsatisfactory performance due to the vagueness of the clues available for its core back-translation training. Further enriching the idea of pivot translation by extending the use of parallel corpora beyond the source-target paradigm, we propose a new reference language-based framework for UNMT, RUNMT, in which the reference language only shares a parallel corpus with the source, but this corpus still indicates a signal clear enough to help the reconstruction training of UNMT through a proposed reference agreement mechanism. Experimental results show that our methods improve the quality of UNMT over that of a strong baseline that uses only one auxiliary language, demonstrating the usefulness of the proposed reference language-based UNMT and establishing a good start for the community.

研究の動機と目的

• ノイズの多い擬似平行データによる教師なしNMTにおけるバックトランスレーションの不安定性と低品質を是正すること。
• ソース言語とターゲット言語のペアを超える、より強いアライメント信号を提供するため、共有平行コーパスを持つ参照言語の使用を検討すること。
• 多言語性と参照言語適合を活用することで、教師なし翻訳性能を向上させること。
• 既存のUNMTシステムと互換性があり、ソース言語とターゲット言語間の完全な平行コーパスを必要としないが、学習を強化するフレームワークの開発すること。

提案手法

• ソース言語とのみ共有平行コーパスを持つ参照言語を用いる、リファレンス言語ベースのUNMTフレームワーク（RUNMT）を提案する。
• ソース-参照コーパスからの平行アライメント信号を用いて、バックトランスレーションを指針づけ・安定化する、参照言語適合メカニズムを導入する。
• 3つのバリエーションを採用：RAT（リファレンス適合トレーニング）、RABT（リファレンス対応バックトランスレーション）、XBT（クロスリンガルブリッジトレーニング）、それぞれ異なる監視信号を用いる。
• 単語彙データを用いて学習を行い、バックトランスレーション中に中間翻訳品質を向上させるために参照言語を活用する。
• 生成された擬似平行データを繰り返し用いて、ソース→ターゲットおよびターゲット→ソースモデルの両方を精錬する、反復的バックトランスレーションを適用する。
• 中間品質のトレーニング進捗を測定するために、ターゲット言語翻訳におけるソース言語トークンの割合を用い、これを中間品質の代理指標とする。

実験結果

リサーチクエスチョン

• RQ1 ソース言語と共有平行コーパスを持つ参照言語が、従来のバックトランスレーションを上回る教師なしNMT性能を向上させることができるか？
• RQ2 ソース-参照平行データからのアライメント信号を効果的に活用することで、UNMTにおけるバックトランスレーションの安定性と品質を向上させられるか？
• RQ3 参照言語適合を組み込むことで、バックトランスレーションにおける擬似平行データ生成のノイズと不安定性が低減されるか？
• RQ4 提案されたフレームワークは、MUNMTなどの強力なベースラインを、ゼロショット翻訳シナリオで上回ることができるか？
• RQ5 参照言語アプローチは、既存の半教師ありおよび多言語NMT設定と互換性があり、拡張可能か？

主な発見

• RUNMTは中国語-ルーマニア語翻訳タスクで13.66のBLEUスコアを達成し、強力なMUNMTベースライン（11.55 BLEU）を顕著に上回った。
• RABTバリエーションは、ターゲット翻訳におけるソース言語トークンの割合を2.01％から1.69％に低減し、アライメントの向上とノイズ低減を示した。
• 生成翻訳におけるソース言語トークンの割合とBLEUスコアの間に強い相関が認められ、これが中間トレーニング品質の代理指標として有効であることを裏付けた。
• 提案手法により、BT-BLEUはMUNMTの31.98から33.16に向上し、より優れた擬似平行データ品質を示した。
• 参照言語適合メカニズムはバックトランスレーションを効果的に安定化させ、低品質な生成データによるモデルクラッシュのリスクを低減した。
• RUNMTは既存のUNMTフレームワークと互換性があり、多言語信号を活用してゼロショット翻訳を改善するスケーラブルな道筋を提供した。