[論文レビュー] Low-Resource Neural Machine Translation for Southern African Languages

Evander Nyoni, Bruce A. Bassett|arXiv (Cornell University)|Apr 1, 2021

Natural Language Processing Techniques参考文献 24被引用数 9

ひとこと要約

本稿では、関連するバントゥー諸語における共有表現を活用することで、リソースが乏しい英語→isiZulu翻訳の改善を目的とした多言語ニューラル機械翻訳（NMT）を提案する。英語→isiXhosaおよび英語→isiZuluのデータを共同で訓練することで、ベースライン比で9.9 BLEUポイントの向上を達成し、18.6という新しいSOTAスコアを設定した。これは、転移学習やゼロショット学習をはるかに上回る性能を発揮した。

ABSTRACT

Low-resource African languages have not fully benefited from the progress in neural machine translation because of a lack of data. Motivated by this challenge we compare zero-shot learning, transfer learning and multilingual learning on three Bantu languages (Shona, isiXhosa and isiZulu) and English. Our main target is English-to-isiZulu translation for which we have just 30,000 sentence pairs, 28% of the average size of our other corpora. We show the importance of language similarity on the performance of English-to-isiZulu transfer learning based on English-to-isiXhosa and English-to-Shona parent models whose BLEU scores differ by 5.2. We then demonstrate that multilingual learning surpasses both transfer learning and zero-shot learning on our dataset, with BLEU score improvements relative to the baseline English-to-isiZulu model of 9.9, 6.1 and 2.0 respectively. Our best model also improves the previous SOTA BLEU score by more than 10.

研究の動機と目的

• 南アフリカ諸語、特に30,000件の並列文書しか存在しないisiZuluのリソースが乏しいニューラル機械翻訳（NMT）の課題に対処すること。
• バントゥー諸語のリソースが乏しいNMT環境において、ゼロショット学習、転移学習、多言語学習の有効性を調査すること。
• 特にNguni語族内での言語的類似性が翻訳性能に与える影響を評価すること。
• データ効率の良い手法を用いて、英語→isiZulu翻訳のSOTA BLEUスコアを向上させること。

提案手法

• 英語→isiXhosa（E-X）および英語→isiZulu（E-Z）の並列コーパスを共同で訓練することで、言語間で表現を共有する多言語TransformerベースのNMTモデルを訓練する。
• 事前学習済みの英語→isiXhosaモデルを、リソースが乏しい英語→isiZuluタスクに微調整することで、転移学習を適用する。
• 多言語モデルを活用して、そのペairに直接の学習を経ていない英語→isiZulu翻訳をゼロショット学習で実現する。
• 変換器アーキテクチャを用い、マルチヘッド自己注意機構と位置ごとのフィードフォワードネットワークを備え、ターゲット系列の条件付き対数尤度を最大化するように学習する。
• 一般化性能の向上を図るため、知識蒸留と共有埋め込み層を適用する。
• ホールドアウトされたテストセットにおけるBLEUスコアを用いて性能を評価し、標準誤差推定値を用いて統計的有意性を検証する。

実験結果

リサーチクエスチョン

• RQ1 多言語学習は、英語→isiZulu翻訳の品質向上において、転移学習やゼロショット学習と比べてどのように異なるか？
• RQ2 特にisiXhosaとisiZuluといったNguni語の間で言語的類似性が、転移学習性能にどの程度影響を与えるか？
• RQ3 英語→Shonaのような遠い親モデルを用いる場合、英語→isiZuluのゼロショット翻訳は、転移学習を上回る可能性があるか？
• RQ4 共有多言語表現が、リソースが乏しい言語ペアにおけるBLEUスコアの向上に与える影響は何か？
• RQ5 多言語学習は、関連する言語モデルからの微調整に比べて、リソースが乏しい環境で顕著に優れているか？

主な発見

• 多言語学習により、英語→isiZulu翻訳で18.6 ± 1.0のBLEUスコアを達成し、ベースラインモデル比で9.9 BLEUポイントの向上を達成した。
• 多言語モデルは、以前のSOTAスコアを10ポイント以上上回り、英語→isiZulu翻訳における新たなSOTAを樹立した。
• 英語→isiXhosaモデルを用いた転移学習ではベースライン比6.1 BLEUポイントの向上を達成したが、英語→Shonaからの転移学習ではわずか0.9 BLEUポイントにとどまり、言語の類似性の重要性が浮き彫りになった。
• isiXhosa（6.6）とShona（0.9）を親モデルとして用いた転移学習のBLEU差は5.2であり、言語的類縁性が性能に強く影響することが確認された。
• ゼロショット学習は、Shonaからの転移学習を1.0 BLEUポイント上回った。これは、ゼロショット状況下では、関係の遠い親モデルが、関係の近いモデルよりも効果的である可能性を示唆している。
• 多言語モデルは、最良の転移学習モデル（E-X親モデル）よりも3.8 BLEUポイント、E-S親モデルよりも9.0 BLEUポイントの優位性を示し、リソースが乏しい環境下での優位性を実証した。