[論文レビュー] Kencorpus: A Kenyan Language Corpus of Swahili, Dholuo and Luhya for Natural Language Processing Tasks

Barack Wanjawa, Lilian Wanzare+4 more|arXiv (Cornell University)|Aug 25, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

Kencorpusは、スワヒリ語、ドホループ語、ルヒャ語の3つの低リソースなケニア言語を対象とした公開可能な多言語コーパスを紹介する。テキストで560万語、音声で177時間（合計5,594件）を含む。このデータセットにより、品詞タグ付け、機械翻訳、質疑応答などの下流NLPタスクが可能となり、語りかけ型の実証システムでは音声認識で18.87%のWER、QAで80%のEMを達成。東アフリカにおける低リソース言語処理の前進を示している。

ABSTRACT

Indigenous African languages are categorized as under-served in Natural Language Processing. They therefore experience poor digital inclusivity and information access. The processing challenge with such languages has been how to use machine learning and deep learning models without the requisite data. The Kencorpus project intends to bridge this gap by collecting and storing text and speech data that is good enough for data-driven solutions in applications such as machine translation, question answering and transcription in multilingual communities. The Kencorpus dataset is a text and speech corpus for three languages predominantly spoken in Kenya: Swahili, Dholuo and Luhya. Data collection was done by researchers from communities, schools, media, and publishers. The Kencorpus' dataset has a collection of 5,594 items - 4,442 texts (5.6M words) and 1,152 speech files (177hrs). Based on this data, Part of Speech tagging sets for Dholuo and Luhya (50,000 and 93,000 words respectively) were developed. We developed 7,537 Question-Answer pairs for Swahili and created a text translation set of 13,400 sentences from Dholuo and Luhya into Swahili. The datasets are useful for downstream machine learning tasks such as model training and translation. We also developed two proof of concept systems: for Kiswahili speech-to-text and machine learning system for Question Answering task, with results of 18.87% word error rate and 80% Exact Match (EM) respectively. These initial results give great promise to the usability of Kencorpus to the machine learning community. Kencorpus is one of few public domain corpora for these three low resource languages and forms a basis of learning and sharing experiences for similar works especially for low resource languages.

研究の動機と目的

• ケニアのインディジナスアフリカ語のデジタル的疎外を是正するため、低リソース言語のための大規模かつ公開可能なコーパスを構築すること。
• 地域コミュニティ、学校、マスコミ、出版者から高品質なテキストおよび音声データを収集・整備し、データ駆動型NLPアプリケーションを支援すること。
• スワヒリ語、ドホループ語、ルヒャ語の言語固有のリソース、たとえば品詞タグ、質疑応答ペア、並列翻訳セットを構築すること。
• Kencorpusコーパスを用いて、低リソースアフリカ語のNLPモデルの学習と評価が可能であることを実証すること。
• とりわけ多言語アフリカ環境における低リソース言語NLP分野における今後の研究と協働の基盤を築くこと。

提案手法

• データ収集は、地域社会との協働を通じて実施され、地元の学校、マスコミ、出版者、コミュニティメンバーからテキストおよび音声データを調達した。
• コーパスは、スワヒリ語、ドホループ語、ルヒャ語の4,442件のテキスト（560万語）および1,152件の音声ファイル（177時間）を含む。
• 専門家がアノテートしたトレーニングデータを用いて、ドホループ語（5万語）およびルヒャ語（9万3千語）の品詞タグ付けが実施された。
• 既存のテキスト資料から、スワヒリ語の質疑応答ペア7,537組のQAデータセットが構築された。
• ドホループ語およびルヒャ語からスワヒリ語への翻訳を含む1万3,400文の並列翻訳セットが作成された。
• 2つの実証的システムが実装された：自動音声認識を用いた音声認識システム、および教師あり機械学習を用いた質疑応答モデル。

実験結果

リサーチクエスチョン

• RQ1 スワヒリ語、ドホループ語、ルヒャ語のような低リソースアフリカ語の、大規模かつコミュニティ主導のコーパスが、NLPアプリケーションに効果的に収集・整備可能かどうか。
• RQ2 Kencorpusコーパスが、品詞タグ付け、機械翻訳、質疑応答などの下流NLPタスクをどの程度支援できるか。
• RQ3 低リソース言語の音声認識および質疑応答システムにおいて、Kencorpusコーパスを用いてどの程度のパフォーマンスが達成可能か。
• RQ4 低リソース環境における、コミュニティから調達したデータの質と多様性は、従来のデータ収集手法と比べてどの程度か。
• RQ5 Kencorpusフレームワークは、他の低リソースアフリカ語に対しても再現可能であり、デジタル包摂性の向上に寄与できるか。

主な発見

• Kencorpusコーパスは、5,594件のデータを含み、テキスト文書4,442件（560万語）および音声ファイル1,152件（177時間）を含む。これはケニアの3大言語に向けた重要なリソースである。
• ドホループ語（5万語）およびルヒャ語（9万3千語）の品詞タグセットが成功裏に開発され、低リソース環境における句構造解析が可能になった。
• スワヒリ語の質疑応答ペア7,537組のQAデータセットが構築され、抽出型QAモデルの学習が可能となった。
• ドホループ語およびルヒャ語からスワヒリ語への1万3,400文の並列翻訳セットが作成され、多言語NLPアプリケーションの促進に貢献した。
• 音声認識システムは18.87%の語誤り率（WER）を達成し、これらの言語における自動音声認識の実現可能性が示された。
• 質疑応答モデルは80%の正確一致スコア（EM）を達成し、Kencorpusデータを用いた抽出型QAタスクにおける優れたパフォーマンスを示した。