[論文レビュー] NLP for Ghanaian Languages

Paul Azunre, Salomey Osei+25 more|arXiv (Cornell University)|Mar 29, 2021

Topic Modeling参考文献 14被引用数 4

ひとこと要約

NLP Ghanaは、アカン、イウェ、ガの低リソース・ガナ言語向けに、最先端の自然言語処理ツールを開発するオープンソース・イニシャチブを提唱している。クラウドソーシングおよび人間による検証済み翻訳データを活用し、アクアペム・トゥイ語で25,000件を超える高品質な文対を生成。機械翻訳、NER、品詞タギングの分野における低リソースのアフリカ言語の発展を促進するため、モデルとデータセットをオープンソース化した。

ABSTRACT

NLP Ghana is an open-source non-profit organization aiming to advance the development and adoption of state-of-the-art NLP techniques and digital language tools to Ghanaian languages and problems. In this paper, we first present the motivation and necessity for the efforts of the organization; by introducing some popular Ghanaian languages while presenting the state of NLP in Ghana. We then present the NLP Ghana organization and outline its aims, scope of work, some of the methods employed and contributions made thus far in the NLP community in Ghana.

研究の動機と目的

• デジタルおよび機械学習システムにおいて、ガナ言語が過小視されていることによるNLPツールおよび学習データの不足に対処すること。
• アカン、イウェ、ガのような低リソースのアフリカ言語における、アノテート済みで高品質な学習データの不足を克服すること。
• 機械翻訳、固有表現認識、品詞タギングの分野で活用可能な、オープンソースで再利用可能なNLPモデルおよびデータセットを開発すること。
• ガナ言語およびその他の低リソース言語のNLP発展を支援する持続可能でコミュニティ主導の研究機関を構築すること。
• 教育、保健サービス、国家セキュリティ分野の応用を支援するため、ガナ言語のデジタル存在感および計算機的利用可能性を向上させること。

提案手法

• Googleフォームを介したクラウドソーシングを活用し、自発的な英語→アカン翻訳を収集。約697件の文対が生成された。
• 機械翻訳出力の検証に人間を活用し、初期段階の約50,000件の機械翻訳から、約25,000件の高品質なアクアペム・トゥイ語文対を生成。
• 外部の多言語データセット（JW300や聖書など）を活用し、内部のデータ収集活動を補完。
• 収集した学習データを基に、アカン、イウェ、ガのための文脈的（BERTベース）および静的（fastText）埋め込みを開発・オープンソース化。
• データ、エンジニアリング、研究、コミュニケーションの4つのチームから成るマルチチーム体制を構築し、データ収集、モデル開発、ステークホルダーとの連携を調整。
• 今後の展開として、音声データ（口語コーパス）の収集および、NERやPOSタギングなどの下流タスクのためのデータセットのアノテーションを計画。

実験結果

リサーチクエスチョン

• RQ1 資金的制約およびプロフェッショナルな翻訳者へのアクセスが限られる中で、アクアペム・トゥイ語のような低リソースのガナ言語向けに、高品質な学習データをどのように収集できるか？
• RQ2 クラウドソーシングおよび人間による検証済みの機械翻訳データは、低リソースのアフリカ言語向けに信頼性があり実用的なNLPモデルをどれほど生成できるか？
• RQ3 オープンソースでコミュニティ主導のNLPイニシャチブは、アカンやイウェのような低リソース言語向けに、ニューラルモデル（例：BERT、fastText）を効果的に開発・展開できるか？
• RQ4 トーナルで多言語的かつ低リソースな言語を対象としたNLPインfraの構築における主な課題は何か。それらはどのように軽減できるか？
• RQ5 ガナ言語向けのNLPツールは、教育、保健、サイバーセキュリティなどの国家的優先分野にどのように貢献できるか？

主な発見

• NLP Ghanaは、機械翻訳と人間によるレビューのハイブリッドアプローチを用いて、約25,000件の高品質な英語→アクアペム・トゥイ語文対を効果的に収集・検証した。
• アカン、イウェ、ガのためのBERTベースおよびfastText埋め込みをオープンソース化し、分類や固有表現認識などの下流NLPタスクを可能にした。
• 697件を超える文対がクラウドソーシングにより収集された。これは、低リソース言語向けにコミュニティ主導のデータ収集が実現可能であることを示している。
• 学術界、産業界、現地言語の専門知識を持つメンバーを含む、100名を超える多様な分野のメンバーから成るオープンソース研究コミュニティを構築した。
• 資金的制約がある中でも、データ収集およびモデル開発において顕著な進展を遂げ、ガナにおけるスケーラブルなNLPインfraの基盤を築いた。
• 本プロジェクトは、音声や他のモodalitiesへのデータ収集を拡大し、高度なNLPタスクのためのアノテーション品質を向上させるために、資金および制度的支援の緊急の必要性を浮き彫りにした。