[論文レビュー] No Language Left Behind: Scaling Human-Centered Machine Translation

Nllb Team, Marta R. Costa‐jussà+37 more|arXiv (Cornell University)|Jul 11, 2022

Natural Language Processing Techniques被引用数 360

ひとこと要約

本論文は、sparsely gated expert models、novel data mining、そして包括的な人間と安全性の評価を用いて、200言語にわたる大規模で人間中心の MT システムを訓練し、従来の最先端に比べて 44% の BLEU 向上を達成する。

ABSTRACT

Driven by the goal of eradicating language barriers on a global scale, machine translation has solidified itself as a key focus of artificial intelligence research today. However, such efforts have coalesced around a small subset of languages, leaving behind the vast majority of mostly low-resource languages. What does it take to break the 200 language barrier while ensuring safe, high quality results, all while keeping ethical considerations in mind? In No Language Left Behind, we took on this challenge by first contextualizing the need for low-resource language translation support through exploratory interviews with native speakers. Then, we created datasets and models aimed at narrowing the performance gap between low and high-resource languages. More specifically, we developed a conditional compute model based on Sparsely Gated Mixture of Experts that is trained on data obtained with novel and effective data mining techniques tailored for low-resource languages. We propose multiple architectural and training improvements to counteract overfitting while training on thousands of tasks. Critically, we evaluated the performance of over 40,000 different translation directions using a human-translated benchmark, Flores-200, and combined human evaluation with a novel toxicity benchmark covering all languages in Flores-200 to assess translation safety. Our model achieves an improvement of 44% BLEU relative to the previous state-of-the-art, laying important groundwork towards realizing a universal translation system. Finally, we open source all contributions described in this work, accessible at https://github.com/facebookresearch/fairseq/tree/nllb.

研究の動機と目的

• 低資源言語翻訳の必要性を動機づけ、その社会的影響を記録する。
• 低資源言語と高資源言語の性能格差を狭めるデータセットとモデルを開発する。
• Sparsely Gated Mixture of Experts に基づくスケーラブルな conditional compute モデルを提案する。
• 過学習を緩和し、数千もの翻訳タスクで訓練する。
• Flores-200 全体にわたる人間ベンチマークと毒性ベンチマークで翻訳品質と安全性を評価する。

提案手法

• Sparsely Gated Mixture of Experts (MoE) を用いた conditional compute モデルを提案する。
• 低資源言語向けに特化した新技術を用いてマイニングしたデータで訓練する。
• 数千のタスクにわたる過学習を抑制するためのアーキテクチャおよび訓練の改善を導入する。
• 人間が翻訳した Flores-200 ベンチマークを用いて 40,000 を超える翻訳方向を評価する。
• すべての Flores-200 言語をカバーする新規の毒性ベンチマークと人間評価を組み合わせる。
• すべての貢献をオープンソース化し、コミュニティ再利用を促進する。

実験結果

リサーチクエスチョン

• RQ1 普遍的な翻訳システムを 200 言語へスケールさせつつ、高品質と安全性を維持できるか。
• RQ2 データマイニング戦略のうち、MT における低資源言語のカバレッジを最も改善するものは何か。
• RQ3 数千の翻訳タスクにわたる過学習を抑制するうえで、conditional compute と MoE アーキテクチャの効果はどの程度か。
• RQ4 多様な言語に対する自動評価指標と人間の判断および毒性ベンチマークの相関はどの程度か。

主な発見

• 従来の最先端と比較して 44% の BLEU 向上を達成。
• 人間翻訳の Flores-200 ベンチマークを用いて 40,000 を超える翻訳方向を評価。
• Flores-200 言語すべてを網羅する毒性ベンチマークを用いて翻訳の安全性を評価。
• アーキテクチャと訓練の改善を通じて数千のタスクを効果的に処理することを示す。
• データ、モデル、方法論をすべてオープンソース化し、再現性と広範な普及を促進する。