[論文レビュー] Towards a parallel corpus of Portuguese and the Bantu language Emakhuwa of Mozambique

Felermino D. M. A. Ali, Andrew Caines+1 more|arXiv (Cornell University)|Apr 12, 2021

Natural Language Processing Techniques参考文献 11被引用数 4

ひとこと要約

本稿では、モザンビークで話されている低リソースのバントゥー語であるエマクフワ語とポルトガル語の47,415文対の並列コーパスの作成を提示する。このコーパスは宗教的・法的・教育的文書から収集され、エマクフワ語の語彙トークンが699,976個、ポルトガル語の語彙トークンが877,595個を含む。研究利用のための正規化が行われており、ポルトガル語からエマクフワ語への翻訳で12.42 BLEUを達成するベースラインニューラル機械翻訳モデルも提供されている。

ABSTRACT

Major advancement in the performance of machine translation models has been made possible in part thanks to the availability of large-scale parallel corpora. But for most languages in the world, the existence of such corpora is rare. Emakhuwa, a language spoken in Mozambique, is like most African languages low-resource in NLP terms. It lacks both computational and linguistic resources and, to the best of our knowledge, few parallel corpora including Emakhuwa already exist. In this paper we describe the creation of the Emakhuwa-Portuguese parallel corpus, which is a collection of texts from the Jehovah's Witness website and a variety of other sources including the African Story Book website, the Universal Declaration of Human Rights and Mozambican legal documents. The dataset contains 47,415 sentence pairs, amounting to 699,976 word tokens of Emakhuwa and 877,595 word tokens in Portuguese. After normalization processes which remain to be completed, the corpus will be made freely available for research use.

研究の動機と目的

• 低リソースのアフリカ言語向けに並列コーパスの不足を解消するため、ポルトガル語とエマクフワ語のための大規模で多言語対応のデータセットを構築すること。
• エマクフワ語の計算的・言語学的リソースが限られているにもかかわらず、エマクフワ語向けニューラル機械翻訳（NMT）システムの開発を支援すること。
• 宗教的・法的・教育的資料を含む多様なテキストソースの収集と正規化を通じて、アフリカ言語NLPのアクセシビリティと研究可能性を向上させること。
• 今後のドメイン多様化と言語正規化の向上を踏まえた、コーパスの拡張基盤を確立すること。
• 再現可能な研究とモデルベンチマークの実施を支援するため、公開可能で標準化されたデータセットを提供すること。

提案手法

• ヨハネス・ワッチのウェブサイト（JW）、アフリカ・ストーリーブック（ASB）、セントロ・カテケチコ・パウロ・ヴィ（CCA）、人権宣言の包括的規定（HR）、モザンビーク土地法（LL）の複数のソースから並列テキストを収集した。
• スキャン済み文書に対してOCR処理を実施し、'ì' が 'T' に誤認識されるや 'á' が '6' に誤認識されるといった一般的なOCR誤りを手作業で修正した。
• 文単位でのセグメンテーションとフィルタリングを実施し、誤認識または不正な形式の文を除外した。
• 正確な並列文対を保証するために、ポルトガル語とエマクフワ語の文を手作業でアライメント処理した。
• 綴りの不整合、特に動詞形における 'j' と 'c' の違い、'erya' と 'jerya' の違い、'bible' を表す 'biblia' と 'biibiliya' の違いを是正した。
• OpenNMT-pyを用いて、2層LSTMエンコーダーとデコーダー（500隠れユニット）を搭載したベースラインNMTモデルを、データの90:10ランダム分割で学習させた。

実験結果

リサーチクエスチョン

• RQ1 エマクフワ語のような低リソースのアフリカ言語向けに、大規模かつ高品質な並列コーパスをどのように構築できるか？
• RQ2 特に綴りのばらつきとOCR誤りを考慮した場合、エマクフワ語向けの並列テキスト収集と正規化における主な課題は何か？
• RQ3 新たに作成されたエマクフワ語-ポルトガル語並列コーパスに対して、標準的なNMTアーキテクチャを用いた場合のベースラインパフォーマンスはどの程度か？
• RQ4 宗教的・法的・教育的といった多様なテキストソースを、低リソース言語翻訳用に統合可能な1つの利用可能な並列コーパスに統合する方法は何か？
• RQ5 コミュニティ主導の取り組みとオープンデータ共有は、未開発のアフリカ言語向けNLPの発展にどのような役割を果たせるか？

主な発見

• 最終的なコーパスは47,415文対で構成され、エマクフワ語に699,976語彙トークン、ポルトガル語に877,595語彙トークンが含まれる。
• 宗教的テキスト（JW, CCA）、教育的コンテンツ（ASB）、法的文書（LL）、人権宣言（HR）を含む、5つの異なるソースから得られた125組のドキュメント対に基づく。
• ベースラインNMTモデルは、ポルトガル語→エマクフワ語翻訳で12.42 BLEU、エマクフワ語→ポルトガル語翻訳で13.09 BLEUを達成した。
• 綴りの不整合が顕著に認められ、動詞形における 'cerya' と 'jerya' の違い、'bible' を表す 'biblia' と 'biibiliya' の違いが、今後の正規化の必要性を示唆している。
• OCR誤りとして、'ì' が 'T' に、'á' が '6' に誤認識される現象が確認され、前処理段階で手作業での修正が必要だった。
• 正規化作業完了後、コーパスは公開を予定しており、追加のデータソースとドメイン多様化を活用した拡張計画も策定されている。