[論文レビュー] MMTAfrica: Multilingual Machine Translation for African Languages

Chris Chinenye Emezue, Bonaventure F. P. Dossou|arXiv (Cornell University)|Apr 8, 2022

Natural Language Processing Techniques被引用数 14

ひとこと要約

MMTAfricaは、Fon、イbo、キニャルワンド、スワヒリ語、カラ、ヨルーバ語の6つのアフリカ言語に加え、英語およびフランス語を対象とした、最初の多対多多言語ニューラル機械翻訳システムを提案する。BT&REC学習目的を導入し、単語語彙データを活用するため、バックトランスレーションと再構築を統合する。FLORES 101ベンチマークで顕著なspBLEU向上（最大+19.46）を達成し、再現可能性のための新しいテストセットとコードを公開する。

ABSTRACT

In this paper, we focus on the task of multilingual machine translation for African languages and describe our contribution in the 2021 WMT Shared Task: Large-Scale Multilingual Machine Translation. We introduce MMTAfrica, the first many-to-many multilingual translation system for six African languages: Fon (fon), Igbo (ibo), Kinyarwanda (kin), Swahili/Kiswahili (swa), Xhosa (xho), and Yoruba (yor) and two non-African languages: English (eng) and French (fra). For multilingual translation concerning African languages, we introduce a novel backtranslation and reconstruction objective, BT\&REC, inspired by the random online back translation and T5 modeling framework respectively, to effectively leverage monolingual data. Additionally, we report improvements from MMTAfrica over the FLORES 101 benchmarks (spBLEU gains ranging from $+0.58$ in Swahili to French to $+19.46$ in French to Xhosa). We release our dataset and code source at https://github.com/edaiofficial/mmtafrica.

研究の動機と目的

• 多言語機械翻訳におけるアフリカ言語の低代表性、特に低リソース環境における課題に対処すること。
• 8言語（6つのアフリカ言語を含む）間の42の言語方向をすべて処理可能な、多対多多言語翻訳システムを開発すること。
• 新しい学習目的を通じて単語語彙データを効果的に活用することで、アフリカ言語の翻訳品質を向上させること。
• 新しい高代表性テストセット（MMTAfricaテストセット）を構築し、包括的な評価結果を報告することで、アフリカ言語翻訳のベンチマークを確立すること。

提案手法

• ランダムなオンラインバックトランスレーションとT5風の再構築を統合した、新しい学習目的であるBT&RECを提案し、単語語彙データの活用を強化する。
• 標準翻訳タスクと再構築タスクを組み合わせたマルチオブジェクティブ損失で微調整された、T5ベースのシーケンス・ツー・シーケンスアーキテクチャを採用する。
• 訓練中にランダムな言語選択を用いたバックトランスレーションを適用し、未学習の言語ペアを模倣することで、ゼロショット一般化性能を向上させる。
• 共有の多言語トークナイザーを用い、42の言語方向をすべてサポートする1つのモデルを学習することで、ゼロショットおよびフェイシュット翻訳を可能にする。
• 特に低リソースのアフリカ言語に対して、高品質な単語語彙データおよび並列データを保証するためのデータフィルタリングおよびフィルタリング戦略を適用する。
• 最適化中に動的言語ペアサンプリングを用い、並列データと単語語彙データの組み合わせでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 アフリカ言語で学習された多言語NMTモデルが、ゼロショットおよびフェイシュット設定を含め、42の言語方向すべてで強力な性能を達成できるか？
• RQ2 標準的なバックトランスレーションや再構築なしの条件と比較して、BT&REC目的が低リソースのアフリカ言語翻訳品質向上にどの程度効果的か？
• RQ3 高リソース言語（例：英語、フランス語）からの転移学習が、特に同じ言語系列に属するアフリカ言語ペアへどの程度一般化されるか？
• RQ4 MMT Africaの性能が、M2M や FLORES 101 などの既存ベンチマークと比較して、多様なアフリカ言語ペアにおいてどの程度の差を示すか？
• RQ5 Fon–Yorùbá などの特定の言語ペアにおけるモデルの性能から、言語的または構造的利点を示唆するインサイトは得られるか？

主な発見

• MMT Africaは、M2Mベースラインと比較して、フランス語→カラ語方向で最大+19.46のspBLEU向上を達成し、顕著なゼロショットおよびフェイシュット一般化性能を示した。
• BT&REC学習目的は、すべての言語ペアで一貫した向上をもたらし、スワヒリ語→フランス語で+0.58から、フランス語→カラ語で+19.46の範囲で向上を達成した。
• イボ語–ヨルーバ語や Fon–Yorùbá のような類縁言語ペアでは特に優れた性能を示し、言語的類似性が転移学習を強化している可能性を示唆した。
• MMT Africaテストセットは、新しい高代表性ベンチマークとして、言語ペアごとの性能に顕著な差が生じることを明らかにした。特に、英語およびフランス語をソース言語とする翻訳では、他の方向と比較してスコアが高かった。
• FLORES 101評価において、MMT Africaは42の言語方向すべてでM2Mベースラインを上回り、いくつかの低リソース設定で平均して10ポイント以上のspBLEU向上を達成した。
• 本研究は、高リソース言語からの転移学習が、同じ言語系列内の他のアフリカ言語同士の翻訳に比べて効果が低いことを示し、AL-to-ALの事前学習戦略の必要性を示唆した。