[論文レビュー] Rapid Adaptation of Neural Machine Translation to New Languages

Graham Neubig, Junjie Hu|arXiv (Cornell University)|Aug 13, 2018

Natural Language Processing Techniques参考文献 25被引用数 14

ひとこと要約

本稿では、低資源言語（LRL）向けにニューラル機械翻訳（NMT）を迅速に適応させる手法を提案する。事前学習済みの大規模な多言語モデル（「種まきモデル」として知られる）を、ターゲットLRLデータに対して微調整するが、高リソースでタイプオロジカルに類似した言語を用いて「類似言語正則化」（SLR）を適用する。この手法により、従来の適応手法と比較して平均1.7 BLEUポイントの向上を達成し、ターゲット言語データが一切ない状態でも非自明なゼロショット翻訳（最高15.5 BLEU）を実現する。

ABSTRACT

This paper examines the problem of adapting neural machine translation systems to new, low-resourced languages (LRLs) as effectively and rapidly as possible. We propose methods based on starting with massively multilingual "seed models", which can be trained ahead-of-time, and then continuing training on data related to the LRL. We contrast a number of strategies, leading to a novel, simple, yet effective method of "similar-language regularization", where we jointly train on both a LRL of interest and a similar high-resourced language to prevent over-fitting to small LRL data. Experiments demonstrate that massively multilingual models, even without any explicit adaptation, are surprisingly effective, achieving BLEU scores of up to 15.5 with no data from the LRL, and that the proposed similar-language regularization method improves over other adaptation methods by 1.7 BLEU points average over 4 LRL settings. Code to reproduce experiments at https://github.com/neubig/rapid-adaptation

研究の動機と目的

• 危機的状況下における低リソース言語（LRL）の迅速かつ高精度な機械翻訳の実現に向けた緊急の要請に対処すること。
• 新しい言語ペアの学習時間を短縮しつつ、高い翻訳品質を維持すること。
• 多言語事前学習とクロスリンガル転送を活用する効果的な適応戦略を検討すること。
• 低リソース環境における学習速度と翻訳精度のトレードオフを評価すること。

提案手法

• 58言語で事前学習済みの大規模な多言語NMTモデル（58言語で学習済み）を、ターゲットの低リソース言語ペアに対して微調整する。
• 「類似言語正則化」（SLR）を導入し、ターゲットLRLと高リソースでタイプオロジカルに類似した言語の両方のデータを同時に学習させることで、小規模なLRLデータへの過剰適合を防ぐ。
• 適応戦略を比較：ターゲットLRLのみへの直接微調整、SLRを適用した微調整、データの連結とバランスサンプリングの比較。
• すべての適応実験の出発点としてユニバーサルな種まきモデルを用い、迅速な展開を可能にする。
• 開発セットにおけるBLEUスコアを用いて、複数のLRLで評価し、ゼロショット（ターゲットデータなし）およびフェイシュット（限られたターゲットデータあり）の状況を含む。
• 異なるデータ密度でモデルを学習し、収束速度をモニタリングすることで、効率性を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つの事前学習済み多言語モデルが、ターゲット言語の訓練データを一切使用せずに、新しい低リソース言語で非自明な翻訳性能を達成できるか？
• RQ2 新しい低リソース言語に、ユニバーサルな多言語モデルを微調整することで、初期学習から直接学習する場合と比較して翻訳精度が向上するか？
• RQ3 ターゲット言語の並列データが限られている状況で、類似言語正則化（SLR）は適応性能の向上にどの程度効果的か？
• RQ4 新しい言語に適応する際、学習速度と最終的な翻訳精度のトレードオフはどのようなものか？

主な発見

• 事前学習済みの大規模な多言語NMTモデルは、ターゲット言語にデータを一切使用しない状態で、ガリシア語-英語ペアで最高15.5 BLEUのスコアを達成し、強力なゼロショット一般化能力を示した。
• 提案された類似言語正則化（SLR）手法により、4つの低リソース言語設定において、直接ターゲット言語のみで微調整する手法と比較して平均1.7 BLEUポイントのスコア向上を達成した。
• ターゲットデータが一切ない状態（コールドスタート）においても、ユニバーサルな多言語種まきモデルからの適応は、単一ソースまたは二重ソースモデルからの学習から直接学習する場合よりも優れた性能を示した。
• コールドスタートおよびウォームスタートの両設定において、コーパスの連結がバランスサンプリングを上回った。これは、類似言語からのデータ密度が適応に寄与していることを示唆している。
• すべての適応済みモデルは、初期学習から直接学習する二重ソースモデルよりも迅速に収束した。これは、種まきモデルからの微調整が、迅速なシステム展開を可能にすることを確認した。
• 無教師NMT手法は、テストされたLRLでは完全に失敗し、ほぼゼロに近いBLEUスコアを記録した。これは、低リソース言語において高品質な単語単位のモノリンガルデータが不足しているためである。