[論文レビュー] Meta-Learning for Low-Resource Neural Machine Translation

Jiatao Gu, Yong Wang+3 more|arXiv (Cornell University)|Aug 25, 2018

Natural Language Processing Techniques参考文献 36被引用数 30

ひとこと要約

本稿では、高資源言語対をソースタスクとして活用することで、低資源言語へのニューラル機械翻訳モデルの高速適応を可能にするメタラーニングフレームワーク、MetaNMTを提案する。クロスリンガル入出力不一致を処理するためのユニバーサル語彙表現を統合することで、MetaNMTはたった16,000対の平行文書（約600文）で最先端の性能を達成し、ルーマニア語-英語翻訳で22.04 BLEUを記録した。これは、マルチリンガル転移学習を著しく上回る結果である。

ABSTRACT

In this paper, we propose to extend the recently introduced model-agnostic meta-learning algorithm (MAML) for low-resource neural machine translation (NMT). We frame low-resource translation as a meta-learning problem, and we learn to adapt to low-resource languages based on multilingual high-resource language tasks. We use the universal lexical representation~\citep{gu2018universal} to overcome the input-output mismatch across different languages. We evaluate the proposed meta-learning strategy using eighteen European languages (Bg, Cs, Da, De, El, Es, Et, Fr, Hu, It, Lt, Nl, Pl, Pt, Sk, Sl, Sv and Ru) as source tasks and five diverse languages (Ro, Lv, Fi, Tr and Ko) as target tasks. We show that the proposed approach significantly outperforms the multilingual, transfer learning based approach~\citep{zoph2016transfer} and enables us to train a competitive NMT system with only a fraction of training examples. For instance, the proposed approach can achieve as high as 22.04 BLEU on Romanian-English WMT'16 by seeing only 16,000 translated words (~600 parallel sentences).

研究の動機と目的

• 限定された平行学習データによる低資源ニューラル機械翻訳の性能劣化という課題に対処すること。
• メタラーニングを用いて、新しい低資源言語対へのNMTモデルの高速適応を可能にすること。
• マルチリンガルメタラーニングの文脈において、言語間で語彙が重複しない場合の入出力語彙の不一致を克服すること。
• メタラーニングで得たモデル初期化により、低資源環境での一般化性能と頑健性を向上させること。
• メタラーニングが、低資源翻訳において、標準的なマルチリンガル学習および転移学習手法を上回ることを実証すること。

提案手法

• 各言語対を個別のタスクとして扱うことで、低資源翻訳をメタラーニング問題として定式化する。
• モデルに依存しないメタラーニング（MAML）アルゴリズムを適応し、新しい低資源言語に対して高速微調整が可能なモデルパラメータの初期化を学習する。
• 語彙が重複しない言語間の入力・出力埋め込みを統一語彙表現（ULR）で整合化する。
• 18の高資源ヨーロッパ語およびロシア語対（ソースタスク）でメタラーナーを訓練し、その後低資源ターゲット（Ro, Lv, Fi, Tr, Ko）で微調整する。
• メタトレーニングおよび適応段階で言語間互換性を保証するため、共有エンコーダデコーダアーキテクチャにULRを統合する。
• ターゲットタスクにおける限られた平行データ（最大160kトークン）を用いた微調整を適用し、高速適応能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 言語対を個別のタスクとして扱うことで、低資源ニューラル機械翻訳にメタラーニングを効果的に適用できるか？
• RQ2 ユニバーサル語彙表現を用いたメタラーニングは、低資源環境下で標準的なマルチリンガル学習および転移学習ベースラインと比較してどのように異なるか？
• RQ3 ソースタスクの数が、低資源ターゲット言語への性能にどの程度影響を与えるか？
• RQ4 学習データが著しく制限された状況でも、メタラーニングで得た初期化はどの程度頑健か？
• RQ5 メタラーニングで得たモデルは、トルコ語やコリア語のような構造的・タイプ論的に異なる言語対に対しても一般化可能か？

主な発見

• MetaNMTは、ゼロショットおよびフェイシュット設定の両方で、5つの低資源ターゲット言語対（Ro, Lv, Fi, Tr, Ko）においてマルチリンガル転移学習ベースラインをすべて上回った。
• ルーマニア語-英語翻訳では、たった16,000個の英語平行トークン（約600文のペア）で22.04 BLEUを達成し、顕著なフェイシュット一般化性能を示した。
• 訓練データ量が減少するにつれて、MetaNMTとマルチリンガル転移学習ベースラインとの性能差が拡大する傾向にあり、データ不足に対する優れた頑健性が裏付けられた。
• 訓練曲線から、MetaNMTは微調整中に継続的に性能向上を示した一方、マルチリンガルベースラインはソースタスクでの過学習により飽和し、性能が低下した。
• ユニバーサル語彙表現の導入により、微調整なしで単語単位の翻訳が可能となり、ターゲットデータに対する最小限の微調整で迅速な文構造再配置が実現した。
• ソースタスクを増やすことで性能は一貫して向上し、ターゲット言語対に応じて1つから18つのソース言語に増加させることで最大2倍のBLEU向上が達成された。