[論文レビュー] The first large scale collection of diverse Hausa language datasets

Isa Inuwa-Dutse|arXiv (Cornell University)|Feb 13, 2021

Natural Language Processing Techniques参考文献 10被引用数 7

ひとこと要約

本論文は、ニュースや宗教関連のウェブサイトからの形式的な文章と、SNSのような非形式的なコンテンツを組み合わせた、最初の大規模かつ多様なハッサ語コーパスを提供する。このデータセットは、低リソースなアフリカ言語としてのハッサ語における機械翻訳、センチメント分析、フェイクニュース検出などのNLPタスクの向上を可能にする。その根拠は、ソーシャルメディアやオンライン出版物など複数のソースから得られた、広範かつ多様で高品質な学習データである。

ABSTRACT

Hausa language belongs to the Afroasiatic phylum, and with more first-language speakers than any other sub-Saharan African language. With a majority of its speakers residing in the Northern and Southern areas of Nigeria and the Republic of Niger, respectively, it is estimated that over 100 million people speak the language. Hence, making it one of the most spoken Chadic language. While Hausa is considered well-studied and documented language among the sub-Saharan African languages, it is viewed as a low resource language from the perspective of natural language processing (NLP) due to limited resources to utilise in NLP-related tasks. This is common to most languages in Africa; thus, it is crucial to enrich such languages with resources that will support and speed the pace of conducting various downstream tasks to meet the demand of the modern society. While there exist useful datasets, notably from news sites and religious texts, more diversity is needed in the corpus. We provide an expansive collection of curated datasets consisting of both formal and informal forms of the language from refutable websites and online social media networks, respectively. The collection is large and more diverse than the existing corpora by providing the first and largest set of Hausa social media data posts to capture the peculiarities in the language. The collection also consists of a parallel dataset, which can be used for tasks such as machine translation with applications in areas such as the detection of spurious or inciteful online content. We describe the curation process -- from the collection, preprocessing and how to obtain the data -- and proffer some research problems that could be addressed using the data.

研究の動機と目的

• NLP研究における多様で高品質なハッサ語データセットの不足を解消すること。
• 形式的（ニュース、宗教的テキスト）と非形式的（SNS）言語形態を含む包括的かつキュレートされたコーパスを提供すること。
• ハッサ語という低リソースなアフリカ言語における機械翻訳、センチメント分析、フェイクニュース検出などの下流NLPタスクを支援すること。
• 将来のハッサ語NLPリソースの拡張を容易にするために、データ収集と前処理を標準化すること。
• オンラインソースからの多様で現実世界の言語使用を活用することで、ハッサ語におけるNLPモデルの性能を向上させること。

提案手法

• データセットは159のウェブサイトおよびブログ、およびFacebookやTwitterなどのプラットフォームからの120万件のSNS投稿から収集された。
• ノイズ除去、綴りの正規化、言語様式（形式的 vs. 非形式的）のアノテーションを含むテキスト前処理が実施された。
• 機械翻訳タスク用に並列データセットが構築され、多言語モデルの学習が可能になった。
• トピック的・言語的多様性を確保するため、コーパスは「ウェブサイトおよびブログ」と「ソーシャルストリーム」の2つの主要カテゴリに分類された。
• 公開APIおよびウェブスクレイピング技術を用いて、SNSデータをハイドレートし抽出するためのシステマティックなデータ取得パイプラインが開発された。
• 再現可能性を確保するため、ドキュメント、メタデータ、アクセス手順を含むGitHubリポジトリを通じてデータセットが公開された。

実験結果

リサーチクエスチョン

• RQ1 形式的および非形式的オンラインソースから、多様で大規模なハッサ語言語データセットをどのように収集・キュレートできるか？
• RQ2 SNSデータを活用することで、NLPモデルにおける口語的・非形式的ハッサ語表現の表現力はどの程度向上するか？
• RQ3 提案されたコーパスは、機械翻訳やセンチメント分析といった下流NLPタスクの性能を顕著に向上させることができるか？
• RQ4 アフリカ言語の一つであるハッサ語のような低リソース言語向けに、大規模データセットを構築する際の主な課題と最良の実践法は何か？
• RQ5 SNSからの非形式的言語の統合は、ハッサ語での誤解を招くまたは火種を煽るオンラインコンテンツの検出をどのように改善できるか？

主な発見

• 本研究は、159のウェブサイトおよびブログ、および120万件を超えるSNS投稿を含む、ハッサ語言語データセットの最初の大規模かつキュレートされたコレクションを提示した。
• 機械翻訳システムの学習に適した並列コーパスが含まれており、ハッサ語NLPリソースにおける大きな空白を埋めている。
• 非形式的なSNSコンテンツの統合により、伝統的なニュースや宗教的コーパスには見られない口語的表現や言語的変異が捉えられた。
• 予備的な評価では、Google翻訳のような既存の翻訳システムが、特に非形式的または慣用的表現に対して著しく性能を発揮しないことが判明し、より優れた学習データの必要性が浮き彫りになった。
• このコーパスにより、センチメント分析、固有表現認識、フェイクニュース検出のためのより強固なNLPツールの開発が可能になった。
• データセットはGitHubを通じて公開されており、詳細なドキュメントとメタデータを備えており、再現可能性および将来的なハッサ語NLP研究の拡張を支援している。