[論文レビュー] NaijaNER : Comprehensive Named Entity Recognition for 5 Nigerian Languages

Wuraola Fisayo Oyewusi, Olubayo Adekanmbi+6 more|arXiv (Cornell University)|Mar 30, 2021

Natural Language Processing Techniques被引用数 9

ひとこと要約

本稿では、ネイティブ英語、ピジン語、yoruba語、アラビア語、イbo語の5つの低リソースなナイジェリア言語を対象とした包括的な固有表現抽出（NER）システム、NaijaNERを提示する。個別モデルと統合された多言語モデルの両方を用いており、各言語で50件の手動アノテーション付きニュース記事を用いてspaCyで学習させた。統合されたNaijaNERモデルは、ある言語では個別モデルを上回る性能を示し、低リソースなアフリカ言語向けに実用的で再利用可能なNLPツールの実現を可能にする。

ABSTRACT

Most of the common applications of Named Entity Recognition (NER) is on English and other highly available languages. In this work, we present our findings on Named Entity Recognition for 5 Nigerian Languages (Nigerian English, Nigerian Pidgin English, Igbo, Yoruba and Hausa). These languages are considered low-resourced, and very little openly available Natural Language Processing work has been done in most of them. In this work, individual NER models were trained and metrics recorded for each of the languages. We also worked on a combined model that can handle Named Entity Recognition (NER) for any of the five languages. The combined model works well for Named Entity Recognition(NER) on each of the languages and with better performance compared to individual NER models trained specifically on annotated data for the specific language. The aim of this work is to share our learning on how information extraction using Named Entity Recognition can be optimized for the listed Nigerian Languages for inclusion, ease of deployment in production and reusability of models. Models developed during this project are available on GitHub https://git.io/JY0kk and an interactive web app https://nigner.herokuapp.com/.

研究の動機と目的

• ネイビアンピジン語、yoruba語、アラビア語、イbo語を含む、低リソースなナイジェリア言語におけるNLPリソースの不足に対処すること。
• ナイジェリアの言語的・文化的文脈に特化した高品質で文脈に適したNERモデルを開発すること。
• 1言語あたりのデータ量が少ない状況下でも、5言語すべてで良好な性能を示す統合多言語NERモデル（NaijaNER）を構築すること。
• オープンソースのリリースとインタラクティブなWebアクセスにより、モデルの再利用性と本番環境でのデプロイを確保すること。
• 1言語あたりのデータ量が少ない低リソース言語においても、統合された多言語学習が個別モデルを上回る性能を発揮することを実証すること。

提案手法

• オンラインソースから一般ニュースおよびスポーツニュース（4:1の比率）を各言語ごとに50件収集した。
• 専門のネイティブスピーカーを用いて、TagEditor（v2.3.2）を用いてOntoNotesスキーマ（例：PERSON、ORG、GPE）に従い固有表現をアノテーションした。
• spaCyのgold.doc_to_json形式にエクスポートし、spaCyのNERパイプラインで学習可能にするためにデータを準備した。
• ネイティブ英語およびピジン語のベースとして、spaCyの事前学習済み英語モデルを用い、各言語ごとに個別NERモデルを学習させた。
• すべての5言語のデータを統合して学習させ、多言語統合モデル（NaijaNER）を微調整し、多言語間推論を可能にした。
• F1スコア、適合率、再現率といった標準的なNER指標を用いてモデルを評価した。各エンティティタイプごとの信頼性のあるスコアを得るため、50件以上の例数を基準とした。

実験結果

リサーチクエスチョン

• RQ1 1言語あたりのアノテーションデータ量が限られている状況下でも、統合された多言語NERモデルが5つの低リソースなナイジェリア言語で固有表現を的確に認識できるか？
• RQ2 NaijaNER統合モデルの性能（F1、適合率、再現率）は、個別言語特化型NERモデルと比べてどの程度優れているか？
• RQ3 ナイジェリア英語およびピジン語において、文脈に特化した手動アノテーションデータセットは、汎用英語モデルと比較してNER性能をどの程度向上させるか？
• RQ4 低リソースなアフリカ言語におけるNERの課題、特に低頻度エンティティや言語固有の語形変化の処理における課題は何か？
• RQ5 高リソース言語（英語など）からの転移学習は、低リソースなナイジェリア言語におけるNER性能を効果的に向上させることができるか？

主な発見

• NaijaNER統合モデルは優れた多言語間性能を示し、ピジン語で"Justice Tanko Muhammad"をPERSONとして正しく特定した。これは、個別ピジン語モデルを上回る性能を示した。
• ナイジェリア英語において、NaijaNERモデルは"Imo State"をGPEとして正しく認識したが、標準spaCy英語モデルでは失敗していた。
• IgboNERモデルは"Ukochukwu Eliot Ugochukwu Uko"をGPEと誤分類したが、NaijaNERは正しくPERSONとして識別しており、一般化性能の向上が確認された。
• yoruba語において、NaijaNERは"Lori"および"Pdp"をPERSONと誤分類したが、大多数のエンティティを正しく識別しており、ノイズが存在しても堅牢であることが示された。
• HausaNERモデルは"dan jaridar"をORGおよびGPEと誤分類したが、NaijaNERはわずかな誤差を除き同等の正確性を示し、言語間の転送性が確認された。
• 統合NaijaNERモデルは、yoruba語でマクロF1スコア58.82、ナイジェリア英語のORGタイプで64.63を達成し、1言語あたりのデータ量が少ないにもかかわらず、特定のエンティティタイプで個別モデルを上回った。