[論文レビュー] When Does Unsupervised Machine Translation Work?

Kelly Marchisio, Kevin Duh+1 more|arXiv (Cornell University)|Apr 12, 2020

Natural Language Processing Techniques参考文献 46被引用数 33

ひとこと要約

本研究は、異質な言語、ドメイン不一致、および多様なデータセットの下で教師なしMTを実証的に評価し、密接に関連した条件下でのみ強い成果を示す一方で、不安定さと失敗点を浮き彫りにする。

ABSTRACT

Despite the reported success of unsupervised machine translation (MT), the field has yet to examine the conditions under which these methods succeed, and where they fail. We conduct an extensive empirical evaluation of unsupervised MT using dissimilar language pairs, dissimilar domains, diverse datasets, and authentic low-resource languages. We find that performance rapidly deteriorates when source and target corpora are from different domains, and that random word embedding initialization can dramatically affect downstream translation performance. We additionally find that unsupervised MT performance declines when source and target languages use different scripts, and observe very poor performance on authentic low-resource language pairs. We advocate for extensive empirical evaluation of unsupervised MT systems to highlight failure points and encourage continued research on the most promising paradigms.

研究の動機と目的

• ソース言語とターゲット言語が異なる場合に、教師なし MT がどのように機能するかを評価する。
• モノリンガルコーパス間のドメイン不一致が教師なし MT に与える影響を評価する。
• 多様なデータセットと低リソース言語の状況における頑健性を検証する。
• 失敗モードを明らかにし、教師なし MT システムのストレステスト用データを提供する。

提案手法

• Artetxe らの教師なし MT パイプラインを、モノリンガルコーパスからクロスリンガル埋め込みへ再現する。
• VecMap を用いてモノリンガル空間を整列させ、ドメイン横断類似度測度を介してバイリンガル辞書を作成する。
• 埋め込み由来の翻訳から初期の SMT フレーズベースシステムを構築し、バックトランスレーションで改善する。
• SMT と NMT の利点を組み合わせるため、反復的バックトランスレーションを伴うNMT ハイブリダイゼーション手法を統合する。
• 並列、ディスジョイント、Different Domain などの異なるデータ条件の下で、複数の言語ペアとデータセットにまたがってシステムを評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる文字体系や言語ファミリを持つ異質な言語に対して、教師なし MT は機能しますか。
• RQ2 ソースとターゲットのモノリンガルコーパス間のドメイン不一致は翻訳品質にどのように影響しますか？
• RQ3 多様なデータセットおよび実在する低リソース言語ペアで性能は維持されますか？
• RQ4 現実的なデータ条件下で教師なし MT システムを訓練する際の安定性と信頼性の問題は何ですか？

主な発見

• ソースコーパスとターゲットコーパスが異なるドメインから来る場合、教師なし MT の性能は急速に低下する。
• 埋め込み訓練の確率性は、二言語辞書の誘導や下流の翻訳性能に劇的な影響を与える。
• 異質な言語ペアでは教師なし MT はより困難で、Ru-En に対する BLEU のギャップは Fr-En に比べて大きく観測される。
• 訓練コーパスとテストデータ間のドメイン不一致は、very low BLEU スコアを生むことがある（例: Diff. Dom. 条件での Ru-En は 0.7）。
• 実在の真の低リソースペア（シンハラ語-英語、ネパール語-英語）は、補助データなしでは極めて低い教師なし MT の性能を示す。
• 訓練の安定性は実行ごとに変動し、初期の埋め込み空間配置が下流に与える影響は顕著である。