[論文レビュー] When and Why is Unsupervised Neural Machine Translation Useless?

Yunsu Kim, Graça, Miguel+1 more|arXiv (Cornell University)|Apr 22, 2020

Natural Language Processing Techniques参考文献 51被引用数 10

ひとこと要約

この論文は、実際の状況下で非教師ありニューラル機械翻訳（NMT）がなぜ失敗するのか、またいつ失敗するのかを調査し、単語対訳語データの言語的相違およびドメイン不一致が、性能を著しく低下させることを示している。最高水準のモデルであっても、5万文の双方向語彙データを用いた教師ありおよび半教師ありベースラインは、非教師ありシステムを常に上回り、特にリソースが限られた状況下で顕著である。これは、非教師ありNMTが最も必要とされる場面で実用的でないことを示唆している。

ABSTRACT

This paper studies the practicality of the current state-of-the-art unsupervised methods in neural machine translation (NMT). In ten translation tasks with various data settings, we analyze the conditions under which the unsupervised methods fail to produce reasonable translations. We show that their performance is severely affected by linguistic dissimilarity and domain mismatch between source and target monolingual data. Such conditions are common for low-resource language pairs, where unsupervised learning works poorly. In all of our experiments, supervised and semi-supervised baselines with 50k-sentence bilingual data outperform the best unsupervised results. Our analyses pinpoint the limits of the current unsupervised NMT and also suggest immediate research directions.

研究の動機と目的

• 多様な言語対およびデータ設定において、非教師ありNMTの実用的効果を評価すること。
• リソースが限られた状況や現実世界のシナリオにおける非教師ありNMTの主な失敗要因を特定すること。
• わずかな双方向語彙データが利用可能な状況でも、非教師ありNMTが実用的かどうかを検証すること。
• 実務家が非教師ありと教師あり／半教師ありアプローチをいつ使用すべきかを示す実用的ガイドラインを提供すること。
• 現在の非教師ありNMTの根本的限界を解消するための今後の研究方向性を提案すること。

提案手法

• ドイツ語-英語、ロシア語-英語、中国語-英語、カザフスタン語-英語、グジャラート語-英語の5つの言語対で、合計10の翻訳タスクを実施。
• 双方向語彙データの量を変化させ（5万文以上）、非教師ありNMTと教師あり／半教師ありベースラインを比較。
• モノリンガルデータのサイズとドメインを変化させ、異なるデータ分布の不一致下での耐性を評価。
• 共通のシーケンス・トゥ・シーケンスモデルを用い、双方向学習とノイズ除去自己符号化器の目的関数によるバックトランスレーションを実装。
• クロスリンガル言語モデル（LM）を初期化に用い、初期化の質が最終性能に与える影響を分析。
• 翻訳出力の定性的分析を実施し、入力語のそのままでコピーされる現象や、誤った数値マッピングといった失敗モードを特定。

実験結果

リサーチクエスチョン

• RQ1 どのようなデータおよび言語的条件下で非教師ありNMTが意味のある翻訳を生成できなくなるのか？
• RQ2 元言語と対象言語間の言語的距離が非教師ありNMTの性能にどのように影響するのか？
• RQ3 モノリンガルの元語彙と対象語彙の間のドメイン不一致が、非教師ありNMTの結果をどの程度悪化させるのか？
• RQ4 わずかな双方向語彙データ（例：5万文）が、大規模な非教師ありNMTシステムを常に上回ることができるのか？
• RQ5 初期のクロスリンガル言語モデルの品質が、最終的な翻訳性能に果たす役割は何か？

主な発見

• すべての実験において、わずか5万文の双方向語彙ペアを用いた教師ありおよび半教師ありベースラインが、最良の非教師ありNMTシステムを上回った。
• モノリンガル語彙間の言語的相違およびドメイン不一致が、非教師ありNMTの失敗の主な要因であり、特にリソースが限られた状況で顕著であった。
• 非教師ありNMTの性能は、初期のクロスリンガル言語モデルの品質と強く相関しており、最終的な結果を決定づける重要な要因であった。
• モデルはしばしば入力語をそのままで出力にコピーする傾向があり、特にクロスリンガルエンコーダーが入力言語の識別を正しくマスクできない場合に顕著で、初期化が不十分な場合に悪化した。
• バックトランスレーションが導入されていなくても、同音異義語や文脈的に曖昧な語（例：'Four' 対 'Eight'）のマッピングに失敗し、曖昧な文脈での事前学習が不十分なことが原因であった。
• エンコーダーに言語埋め込みを用いることでコピー問題が悪化したが、それらを削除することで、ロシア語-英語翻訳のBLEUスコアが4.3%から11.9%に向上した。