[論文レビュー] Towards Neural Machine Translation for Edoid Languages

Iroro Orife|arXiv (Cornell University)|Mar 24, 2020

Natural Language Processing Techniques参考文献 8被引用数 6

ひとこと要約

本稿では、JW300並列コーパスとTransformerアーキテクチャを用いて、四つのエドイド語—Ẹ̀dó、Ésán、Urhobo、Isoko—の最初のニューラル機械翻訳（NMT）モデルを提示する。BPEトークン化は、Ẹ̀dóおよびÉsánのBLEUスコアを著しく向上させた（最大37%の向上）。一方、Isokoでは語彙レベルのトークン化がBPEを上回り、テストセットでの最高BLEUスコアは38.91に達した。

ABSTRACT

Many Nigerian languages have relinquished their previous prestige and purpose in modern society to English and Nigerian Pidgin. For the millions of L1 speakers of indigenous languages, there are inequalities that manifest themselves as unequal access to information, communications, health care, security as well as attenuated participation in political and civic life. To minimize exclusion and promote socio-linguistic and economic empowerment, this work explores the feasibility of Neural Machine Translation (NMT) for the Edoid language family of Southern Nigeria. Using the new JW300 public dataset, we trained and evaluated baseline translation models for four widely spoken languages in this group: Èdó, Ésán, Urhobo and Isoko. Trained models, code and datasets have been open-sourced to advance future research efforts on Edoid language technology.

研究の動機と目的

• ナイジェリアの低リソース言語としてのエドイド語のためのベースラインニューラル機械翻訳（NMT）モデルの開発と評価を目的とする。
• マイノリティの先住言語話者に対する技術的アクセスと自立を促進することで、言語格差是正を図ることを目的とする。
• 低リソース言語における翻訳性能に与える影響を評価するため、BPEと語彙レベルのトークン化戦略の違いを検討することを目的とする。
• 特に口承伝承を持つ言語に対して、機械翻訳を通じて言語の記録と保存を促進することを目的とする。
• アフリカ言語向けの将来の音声対音声翻訳およびマルチリンガルNLPツール開発の基盤を築くこと。

提案手法

• JoeyNMTツールキットを用いて、JW300並列コーパス上でTransformerベースのNMTモデルを学習した。
• 低リソースアフリカ語の先行研究に基づき、4,000個のサブワードユニットを用いたバイトペアエンコーディング（BPE）サブワードトークン化を適用した。
• 四つのエドイド語すべてに対して、BPEと語彙レベルのトークン化を比較するアブレーションスタディを実施した。
• Google Colabの無料GPUおよびCPUリソースを活用し、各言語およびトークン化タイプごとに複数回の再学習を実施した。
• モデルの汎化性能を向上させるために、訓練データから聖書的注釈（例：書名、章、節番号）を除去する前処理を実施した。
• 開発およびテストセットにおけるBLEUスコアを用いてモデルを評価し、母語話者（L1）による定性的な検証も実施した。

実験結果

リサーチクエスチョン

• RQ1 BPEと語彙レベルのトークン化という異なるトークン化戦略は、低リソースのエドイド語におけるNMT性能にどのように影響を与えるか？
• RQ2 JW300並列コーパスを用いた場合、Ẹ̀dó、Ésán、Urhobo、Isokoの翻訳品質のベースラインはどの程度達成可能か？
• RQ3 データ品質、特に節番号などのメタデータの有無が、モデル性能にどの程度影響を与えるか？
• RQ4 宗教的テキストを学習データとして用いたNMTモデルは、これらの言語の一般的な言語的ユースケースに一般化可能か？
• RQ5 Ẹ̀dóおよびÉsánがIsokoと同等の性能を達成するには、どの程度の追加のクリーンテキストが必要か？

主な発見

• BPEトークン化は、Ẹ̀dóでは37%、Urhoboでは32%のBLEUスコア向上を達成し、語彙レベルのトークン化を上回った。
• Isokoでは語彙レベルのトークン化がBPEを上回り、テストセットでの最高BLEUスコアは38.91に達した。これは、全言語の中で最高のスコアであった。
• Ẹ̀dóおよびÉsánは、それぞれテストスコアが12.49および6.25と低かったが、依然として測定可能な翻訳能力を示した。
• Isoko用モデルは開発セットで38.05、テストセットで38.91のBLEUスコアを達成し、低リソース言語としては非常に高い性能を示した。
• 誤差解析の結果、訓練データ内の聖書的メタデータ（例：章・節番号）がモデルの汎化性能を著しく損なう要因であることが判明した。
• 本研究は、性能ベンチマークとデータ要件の推定を提供し、Ẹ̀dóおよびÉsánが現在のIsokoの性能水準に達するには、より多くのクリーンテキストが必要であると示唆している。