[論文レビュー] Adapting Multilingual Neural Machine Translation to Unseen Languages

Surafel M. Lakew, Alina Karakanta+3 more|arXiv (Cornell University)|Oct 30, 2019

Natural Language Processing Techniques参考文献 35被引用数 7

ひとこと要約

本稿では、低資源言語（LRL）のためのマルチリンガルニューラル機械翻訳（MNMT）を向上させるために、周辺のLRL並列データを一切必要としない、パープレキシティに基づくデータ選択法と動的語彙適応を提案する。目標とするLRLに最も類似した高資源言語（HRL）データを言語モデルのパープレキシティを用いて特定し、モデルの語彙を動的に拡張することで、ゼロショットおよび微調整設定において最大+17.0 BLEUの向上を達成した。従来の手法、たとえばデータ拡張や静的適応と比較して優れた性能を発揮した。

ABSTRACT

Multilingual Neural Machine Translation (MNMT) for low-resource languages (LRL) can be enhanced by the presence of related high-resource languages (HRL), but the relatedness of HRL usually relies on predefined linguistic assumptions about language similarity. Recently, adapting MNMT to a LRL has shown to greatly improve performance. In this work, we explore the problem of adapting an MNMT model to an unseen LRL using data selection and model adaptation. In order to improve NMT for LRL, we employ perplexity to select HRL data that are most similar to the LRL on the basis of language distance. We extensively explore data selection in popular multilingual NMT settings, namely in (zero-shot) translation, and in adaptation from a multilingual pre-trained model, for both directions (LRL-en). We further show that dynamic adaptation of the model's vocabulary results in a more favourable segmentation for the LRL in comparison with direct adaptation. Experiments show reductions in training time and significant performance gains over LRL baselines, even with zero LRL data (+13.0 BLEU), up to +17.0 BLEU for pre-trained multilingual model dynamic adaptation with related data selection. Our method outperforms current approaches, such as massively multilingual models and data augmentation, on four LRL.

研究の動機と目的

• 並列学習データが利用できない状況下で、低資源言語（LRL）のマルチリンガルニューラル機械翻訳（MNMT）を向上させること。
• 言語類似性に関する事前定義された言語的仮定に依存することを減らすために、パープレキシティをデータ選択基準として用いること。
• 語彙の動的適応により、語彙が豊富なLRLの形態素の多様性をよりよく捉えるための翻訳品質の向上を図ること。
• ゼロショット翻訳（LRLデータなし）と適応シナリオ（選択されたHRLデータあり）の両方で、本手法の有効性を評価すること。
• データ拡張や静的適応といった従来の手法を上回ること、特に低資源翻訳タスクにおいて

提案手法

• 目標とするLRLで事前学習された言語モデルを用い、利用可能なHRLの単語文書データに対してパープレキシティスコアを計算することで、最も類似したHRLを特定する。
• 最も低いパープレキシティスコアを示すHRLデータを選択し、未学習のLRLへの適応に最も関連性が高いものとみなす。
• 選択されたHRLデータを用いて、事前学習済みのマルチリンガルNMTモデルを適応させる。直接適応（DirAdapt）と動的語彙拡張（DynAdapt）の2つの戦略を比較する。
• 語彙のサブワード分割を調整することで、形態素の豊富なLRLに適した分割を動的に調整する。
• 訓練時にLRLデータが使用されないゼロショット翻訳を含め、両方向（LRL ↔ 英語）でモデルを訓練・評価する。
• Transformerアーキテクチャを用い、58言語を含むTED Talksデータセットを評価対象とし、アゼルバイジャン語、白ロシア語、ガリシア語、スロバキア語の4つのLRLに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 パープレキシティに基づくデータ選択は、ヒューリスティック的またはランダムなHRL選択に比べ、未学習の低資源言語へのマルチリンガルNMTの適応において優れた性能を発揮するか？
• RQ2 動的語彙適応は、静的適応と比較して、低資源言語の翻訳品質を向上させるか？
• RQ3 本手法は、訓練時にターゲット言語の並列データが一切ないゼロショット翻訳において、どの程度効果的か？
• RQ4 パープレキシティに基づくデータ選択と動的適応の組み合わせは、従来のデータ拡張や適応技術に比べ、顕著なBLEUスコアの向上をもたらすか？
• RQ5 特に形態素の豊富な低資源言語において、異なる言語系統や形態論的タイプにわたり、本手法は頑健か？

主な発見

• パープレキシティに基づくデータ選択により、事前学習済みマルチリンガルモデルからの適応において、ベースライン比で最大+17.0 BLEUの向上を達成した。特に、en→LRL方向で挑戦的である。
• ゼロショット翻訳（LRLデータなし）においても+13.0 BLEUを達成し、微調整なしでも強力なクロスリンガル転送能力を示した。
• 動的語彙適応（DynAdapt）は、直接適応（DirAdapt）を上回り、特に形態素の豊富な言語において、より望ましいサブワード分割を可能にした。
• 性能向上に加えて、訓練時間を短縮する効率性の向上も達成した。
• テストされた4つの低資源言語すべてにおいて、データ拡張や大量マルチリンガルモデルといった最先端手法を上回った。
• 特に、ターゲット言語側のデータが限られ、形態論的複雑性が高いために性能が低下しやすいen→LRL方向で、最も顕著な向上が見られた。