[論文レビュー] A Universal Parent Model for Low-Resource Neural Machine Translation Transfer

Mozhdeh Gheini, Jonathan May|arXiv (Cornell University)|Sep 14, 2019

Topic Modeling参考文献 31被引用数 15

ひとこと要約

本論文は、固定された多言語サブワード語彙を備えた普遍的な親ニューラル機械翻訳モデルを提案する。このモデルにより、再訓練や語彙の更新なしに、任意の低リソース言語対に対して迅速なファインチューニングが可能になる。表記統一と広範囲カバーのサブワードトークン化手法を活用することで、多様な言語系統にわたり最先端の性能を達成し、従来の転移学習手法よりも迅速な展開と高い品質を実現する。

ABSTRACT

Transfer learning from a high-resource language pair `parent' has been proven to be an effective way to improve neural machine translation quality for low-resource language pairs `children.' However, previous approaches build a custom parent model or at least update an existing parent model's vocabulary for each child language pair they wish to train, in an effort to align parent and child vocabularies. This is not a practical solution. It is wasteful to devote the majority of training time for new language pairs to optimizing parameters on an unrelated data set. Further, this overhead reduces the utility of neural machine translation for deployment in humanitarian assistance scenarios, where extra time to deploy a new language pair can mean the difference between life and death. In this work, we present a `universal' pre-trained neural parent model with constant vocabulary that can be used as a starting point for training practically any new low-resource language to a fixed target language. We demonstrate that our approach, which leverages orthography unification and a broad-coverage approach to subword identification, generalizes well to several languages from a variety of families, and that translation systems built with our approach can be built more quickly than competing methods and with better quality as well.

研究の動機と目的

• 緊急の人道的状況において、毎回新しい低リソース言語対ごとにカスタム親モデルを訓練することは現実的ではないことを解決すること。
• 新しい子言語に移行する際の語彙再訓練やモデル再初期化の非効率性を克服すること。
• 言語対ごとに最小限の設定で、あらゆる新しい言語対に即座に転送可能な、1つの事前学習済みニューラル親モデルを開発すること。
• 固定された多言語サブワード語彙を通じて普遍的な翻訳不変性を埋め込むことで、低リソースNMTの性能を向上させること。
• 前処理や再訓練のオーバーヘッドを排除することで、時間的に敏感な応用分野におけるニューラル翻訳システムの迅速な展開を可能にすること。

提案手法

• 複数の言語系統や書記体系をカバーする多言語並列コーパスで学習された普遍的親モデルを設計する。
• 入力表記を統一するための普遍的ローマ字化を適用し、学習中の言語的多様性の課題を軽減する。
• すべての元言語で同時に学習された1つの固定サブワード語彙を用い、言語ごとの語彙更新を回避する。
• 多言語コーパス上で広範囲カバーのサブワードトークン化手法（例：BPE）を実装し、多様な言語にわたるカバー率を確保する。
• 親モデルの語彙やアーキテクチャを変更せずに、新しい低リソース言語対に対してのみターゲット言語の並列データを用いてファインチューニングする。
• 親モデルが大規模な多言語データ（例：WMT、TED、Europarl）で事前学習されていることを保証し、普遍的な翻訳パターンを捉える。

実験結果

リサーチクエスチョン

• RQ1 なぜ高リソース親モデルからの転移学習が低リソースニューラル機械翻訳の性能を向上させるのか？
• RQ2 多様な言語系統や書記体系にわたり、1つの固定サイズのサブワード語彙が有効に機能するのか？
• RQ3 速度と翻訳品質の観点から、普遍的親モデルは言語固有の親モデルや動的更新型親モデルと比べてどのように異なるのか？
• RQ4 言語固有の前処理や語彙の適応なしに、普遍的モデルがどの程度低リソース言語に一般化できるのか？
• RQ5 たとえモノリンガル親モデルがより大きなモノリンガルコーパスで学習されたとしても、普遍的親モデルがそれを上回る性能を発揮できるのか？

主な発見

• 普遍的親モデルは、5つのテスト済みの低リソース言語対（ルーマニア語、ヒンディー語、リトアニア語、フィンランド語、エストニア語）すべてで最高のBLEUスコアを達成し、モノリンガルフランス語親モデルや他の多言語ベースラインを上回った。
• 200万文の親モデルを用いた場合、普遍的アプローチは、1100万文のモノリンガルフランス語親モデルを上回る翻訳品質を達成しており、ルーマニア語を除くすべての子言語で同様の結果を示した。
• 大規模な普遍的親モデル（1100万文）は、ルーマニア語-英語翻訳でBLEUスコア28.01を達成したのに対し、大規模フランス語親モデルは27.52であった。これは、優れた一般化性能を示している。
• ヒンディー語-英語翻訳では、普遍的親モデルが9.10のBLEUスコアを達成したのに対し、フランス語親モデルは7.10にとどまり、非インド・ヨーロッパ語族の低リソース言語に対しても強力な性能を示した。
• 新しい言語対ごとに語彙再訓練やカスタム親モデル作成の必要がなくなるため、展開時間を数日または数週間から数時間に短縮した。
• インド・ヨーロッパ語族、フィンノ・ウグリ系、インド・イラン語族を含む多様な言語系統にわたり、一般化性能が高く、普遍的サブワードおよびローマ字化アプローチの堅牢性を確認した。