[論文レビュー] AI4D -- African Language Program

Kathleen Siminyu, Godson Kalipe+16 more|arXiv (Cornell University)|Apr 6, 2021

Natural Language Processing Techniques参考文献 12被引用数 10

ひとこと要約

AI4Dアフリカ言語プログラムは、アフリカ言語におけるNLPリソースの不足に対処するため、3段階のイニシアチブを実施した：多言語データセットのクラウドソーシングとキュレート、タスクアノテート済みデータセットの作成を支援する研究フェローシップ、機械学習コンペティションの開催。これにより、9つ以上のオープンソースでタスクアノテート済みのデータセットとベースラインモデルが生成され、低リソースのアフリカ言語におけるNLPの発展が進んだ。

ABSTRACT

Advances in speech and language technologies enable tools such as voice-search, text-to-speech, speech recognition and machine translation. These are however only available for high resource languages like English, French or Chinese. Without foundational digital resources for African languages, which are considered low-resource in the digital context, these advanced tools remain out of reach. This work details the AI4D - African Language Program, a 3-part project that 1) incentivised the crowd-sourcing, collection and curation of language datasets through an online quantitative and qualitative challenge, 2) supported research fellows for a period of 3-4 months to create datasets annotated for NLP tasks, and 3) hosted competitive Machine Learning challenges on the basis of these datasets. Key outcomes of the work so far include 1) the creation of 9+ open source, African language datasets annotated for a variety of ML tasks, and 2) the creation of baseline models for these datasets through hosting of competitive ML challenges.

研究の動機と目的

• 低リソースのアフリカ言語のための基盤的言語リソースを整備することで、NLPにおけるデジタル格差を是正すること。
• アフリカ言語のNLP開発を妨げるタスクアノテート済みデータセットの不足を克服すること。
• アフリカの研究者や機関が自らの言語の言語技術開発を主導できる環境を整えること。
• 参加型で協働的なフレームワークを活用し、持続可能なコミュニティ主導のデータエコシステムを構築すること。
• 教育、医療、ガバナンス分野における多言語AIツールの発展を通じて、社会的・経済的発展を支援すること。

提案手法

• アフリカの言語コミュニティから言語データセットをクラウドソーシングし、収集・キュレートするための定量的かつ定性的なコンペティションを実施した。
• インテント検出や固有表現認識などのNLPタスク向けに、高品質でタスクアノテート済みのデータセットを作成するため、専門家を対象に3〜4か月の研究フェローシップを支援した。
• キュレート済みのデータセットを活用して、ベースラインモデルのトレーニングと評価を目的とした機械学習コンペティションを主催した。
• データの持続可能性と再利用性を確保するため、FAIR原則（Findable, Accessible, Interoperable, Reusable）を適用した。
• コンテンツ作成者、翻訳者、キュレーター、評価者を含む多様なステークホルダーが参加する参加型フレームワークを開発し、データ開発のスケーリングを実現した。
• 長期的なデータガバナンスと協働をガイドするべく、バークマン・クライン・センターのモデルを模倣したデータコモンズフレームワークを提言した。

実験結果

リサーチクエスチョン

• RQ1 低リソースのアフリカ言語を、NLP用に高品質でタスクアノテート済みのデータセットとして体系的に収集・キュレートする方法は何か？
• RQ2 持続可能な形でアフリカ言語データセットの作成と共有を支援するための制度的・技術的フレームワークとは何か？
• RQ3 研究フェローシップと競争的なMLコンペティションは、アフリカ言語向けのベースラインモデル開発をどのように加速できるか？
• RQ4 参加型で多様なステークホルダーが関与するモデルは、アフリカ言語の言語技術開発のスケーリングにどのような役割を果たせるか？
• RQ5 データコモンズフレームワークは、アフリカの司法管轄区域を越えて、代表性、公平性、およびデータ保護法の遵守をどのように保証できるか？

主な発見

• 本プログラムは、インテント検出、固有表現認識、感情分析などの多様なNLPタスク向けにアノテート済みの9つ以上のオープンソースで多言語のデータセットを成功裏に創出した。
• 競争的なコンペティションを通じてベースライン機械学習モデルが開発され、今後の研究やツール開発の基盤が整った。
• 研究フェローズは言語専門家や機関のネットワークを構築し、協働体制の強化とデータ品質の向上に貢献した。
• 本イニシアチブは、データコモンズの維持・拡張を支えるための継続的資金と技術的インfraストラクチャの必要性が極めて重要であることを浮き彫りにした。
• 本プロジェクトは、アフリカのコミュニケーションにおけるコードスイッチングや多言語主義が、混合言語処理に対応できる新たなNLPツールの開発を要することを明らかにした。
• アフリカの司法管轄区域を越えたデータ共有に向けた法的・政策的枠組みは依然として未整備であり、国境を越えた協働を支援するための緊急の対応が求められる。