[論文レビュー] Low Resource Neural Machine Translation: A Benchmark for Five African Languages

Surafel M. Lakew, Matteo Negri+1 more|arXiv (Cornell University)|Mar 31, 2020

Natural Language Processing Techniques参考文献 39被引用数 20

ひとこと要約

本稿は、英語とアフリカの5言語（スワヒリ語、アムハラ語、ティグリニャ語、オロモ語、ソマリ語：SATOS）間の低リソースニューラル機械翻訳（NMT）のベンチマークを紹介する。単一言語対、半教師あり、転移学習、多言語NMTモデルを評価し、多言語モデルが10の翻訳方向のうち6つでBLEUスコアを最大+5ポイント向上させることを示した。今後の研究を支援するため、標準化されたデータセットとテストセットを公開した。

ABSTRACT

Recent advents in Neural Machine Translation (NMT) have shown improvements in low-resource language (LRL) translation tasks. In this work, we benchmark NMT between English and five African LRL pairs (Swahili, Amharic, Tigrigna, Oromo, Somali [SATOS]). We collected the available resources on the SATOS languages to evaluate the current state of NMT for LRLs. Our evaluation, comparing a baseline single language pair NMT model against semi-supervised learning, transfer learning, and multilingual modeling, shows significant performance improvements both in the En-LRL and LRL-En directions. In terms of averaged BLEU score, the multilingual approach shows the largest gains, up to +5 points, in six out of ten translation directions. To demonstrate the generalization capability of each model, we also report results on multi-domain test sets. We release the standardized experimental data and the test sets for future works addressing the challenges of NMT in under-resourced settings, in particular for the SATOS languages.

研究の動機と目的

• 英語と5つの低リソースアフリカ語（スワヒリ語、アムハラ語、ティグリニャ語、オロモ語、ソマリ語：SATOS）の神経機械翻訳（NMT）の前線を拡大すること。
• 低リソースNMT環境における半教師あり学習、転移学習、多言語モデリングの有効性を評価すること。
• ゼロショットおよび非教師あり翻訳のための今後の研究を支援するため、SATOS言語用の標準化された学習データセットとマルチドメインテストセットを公開すること。
• データ不足、ドメインのズレ、ゼロリソース翻訳の課題を含む、低リソースNMTにおける未解決問題を同定すること。

提案手法

• OPUS、Bible、Tanzil、TED Talks、Wikipediaダンプから、SATOS言語の並列文書および単語文書を可能な限り収集した。
• SentencePieceを用いて16Kのサブワード（多言語モデルでは32K）で前処理を行い、全モデル間での一貫性のあるトークン化を確保した。
• 4種類のモデルタイプを訓練した：単一言語対NMT（S-NMT）、逆翻訳を用いた半教師ありNMT（SS-NMT）、事前学習済み多言語モデルを用いた転移学習（TL）、統合された多言語NMTモデル（M-NMT）。
• ドメイン内およびマルチドメインテストセット上でBLEUスコアを用いてモデルを評価し、英語→LRL方向ではデトークン化された参照文、LRL→英語方向ではトークン化された参照文を用いた。
• OpenNMTフレームワークを用いて、全実験で一貫したハイパーパrameterを有するTransformerベースのモデルを実装した。
• M-NMTでは、各ソースシーケンスの先頭に言語フラグを追加し、多言語注意機構とすべてのSATOS-英語ペアの共同学習を可能にした。

実験結果

リサーチクエスチョン

• RQ1 単一、半教師あり、転移学習、多言語モデリングといった異なるNMTパラダイムは、低リソースアフリカ語対においてどのように性能を発揮するか？
• RQ2 低リソース環境において、単一または転移学習アプローチと比較して、多言語モデリングは翻訳品質をどの程度向上させるか？
• RQ3 学習データとテストデータにおけるドメインのズレは、異なる言語対間でのモデル一般化にどのように影響するか？
• RQ4 特に、単語文書データがドメイン内並列データからかけ離れている場合、逆翻訳の限界は何か？
• RQ5 多言語モデルは、真に低リソース言語対におけるゼロショットまたは非教師あり翻訳の有効な道筋となり得るか？

主な発見

• 多言語NMTモデルが最高の性能を示し、10の翻訳方向のうち6つでBLEUスコアが最大+5ポイント向上した。
• 逆翻訳を用いた半教師ありNMTは混合した結果を示し、ドメインのズレ（ドメイン内並列データとドメイン外単語文書データの不一致）により、場合によっては性能が低下した。
• 事前学習済み多言語モデルを用いた転移学習は、親モデルに多様な言語表現が含まれている場合に一貫した向上を示した。
• SATOS言語は高い屈曲的多様性を示しており、サブワードトークン化だけでは最適でない可能性があり、代替的な入力モデリングが性能向上に寄与する可能性がある。
• データ不足は依然として主要な障壁であり、並列および単語文書リソースが限られているため、データ拡張およびサンプル効率の良い学習戦略の必要性が浮き彫りになった。
• 本研究では、ドメインのズレとゼロリソース翻訳が重要な未解決問題であると特定した。特に、単語文書データが乏しい、またはターゲットドメインと著しく異なる場合に顕著である。