[論文レビュー] MENYO-20k: A Multi-domain English-Yorùbá Corpus for Machine Translation and Domain Adaptation.

David Ifeoluwa Adelani, Dana Ruiter+6 more|arXiv (Cornell University)|Mar 15, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、標準化された訓練・テスト分割を備えた、低リソース言語対Yoruba–Englishのための、初めてのマルチドメイン並列コーパスであるMENYO-20kを紹介する。MENYO-20kで汎用多言語モデルを微調整することで、FacebookのM2M-100およびGoogleの多言語NMTに対して、それぞれ+9.9および+8.6のBLEUスコア向上が達成され、ゼロショットおよびフェイントショット翻訳設定において、事前学習モデルを上回る性能を示した。

ABSTRACT

Massively multilingual machine translation (MT) has shown impressive capabilities, including zero and few-shot translation between low-resource language pairs. However, these models are often evaluated on high-resource languages with the assumption that they generalize to low-resource ones. The difficulty of evaluating MT models on low-resource pairs is often due the lack of standardized evaluation datasets. In this paper, we present MENYO-20k, the first multi-domain parallel corpus for the low-resource Yoruba--English (yo--en) language pair with standardized train-test splits for benchmarking. We provide several neural MT (NMT) benchmarks on this dataset and compare to the performance of popular pre-trained (massively multilingual) MT models, showing that, in almost all cases, our simple benchmarks outperform the pre-trained MT models. A major gain of BLEU $+9.9$ and $+8.6$ (en2yo) is achieved in comparison to Facebook's M2M-100 and Google multilingual NMT respectively when we use MENYO-20k to fine-tune generic models.

研究の動機と目的

• Yoruba–Englishのような低リソース言語対における標準化された評価データセットの不足を解消すること。
• 低リソース言語対におけるニューラル機械翻訳モデルの信頼性あるベンチマーク評価を可能にすること。
• 微調整用に整理された多ドメイン並列コーパスを提供することで、Yorubaの翻訳性能を向上させること。
• 事前学習された多言語モデルと微調整済みモデルの、低リソース言語対における有効性を評価すること。
• MENYO-20kにおけるドメイン特化型微調整が、汎用的な事前学習モデルに比べて翻訳品質を顕著に向上させることを示すこと。

提案手法

• 英語およびヨルーバ語の複数のドメイン（例：ニュース、ソーシャルメディア、教育）をカバーする20,000文ペアの並列コーパスとしてのMENYO-20kの構築。
• 再現可能性とモデル間の公平な評価を確保するため、標準化された訓練・テスト分割の適用。
• M2M-100やGoogleの多言語NMTなど、事前学習済み多言語ニューラル機械翻訳モデルをMENYO-20kの訓練分割で微調整。
• 標準化されたテスト分割を用いたBLEUスコアによる翻訳品質の評価。
• 性能向上の有無を評価するため、微調整済みモデルと元の事前学習モデルを比較。
• ドメイン特化データの活用により、モデルの適応性を高め、ゼロショットおよびフェイントショット一般化性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 多ドメイン並列コーパスは、Yoruba–Englishのような低リソース言語対におけるニューラル機械翻訳性能を顕著に向上させることができるか？
• RQ2 MENYO-20kで汎用多言語モデルを微調整することは、ゼロショットおよびフェイントショット設定において、事前学習モデルを直接使用するのと比較して、どのように差がつくか？
• RQ3 訓練データにおけるドメイン多様性が、低リソース言語対における翻訳品質の向上にどの程度寄与するか？
• RQ4 既存のデータセットと比較して、MENYO-20kは低リソースMTシステムのより信頼性が高く標準化されたベンチマーク評価を可能にするか？
• RQ5 en2yo翻訳方向における、MENYO-20kにおけるドメイン適応型微調整によって達成可能な性能向上はどの程度か？

主な発見

• MENYO-20kで汎用多言語モデルを微調整することで、英語→ヨルーバ語翻訳においてFacebookのM2M-100に対して+9.9のBLEUスコア向上が達成された。
• MENYO-20kで微調整することで、en2yo方向においてGoogleの多言語NMTモデルと比較して+8.6のBLEウスコア向上が達成された。
• MENYO-20kにおけるベンチマーク評価は、すべての評価設定で事前学習済み多言語モデルを上回る一貫した性能向上を示した。
• MENYO-20kの多ドメイン性が、低リソース翻訳シナリオにおけるより優れた一般化性能と耐性をもたらした。
• MENYO-20kにおける標準化された訓練・テスト分割により、低リソースMTシステムの信頼性が高く再現可能な評価が可能になった。
• 結果から、低リソース環境における翻訳品質向上に、ドメイン適応型微調整が極めて有効であることが示された。