[論文レビュー] An open access NLP dataset for Arabic dialects : Data collection, labeling, and model construction

ElMehdi Boujou, Hamza Chataoui+4 more|arXiv (Cornell University)|Feb 7, 2021

Natural Language Processing Techniques参考文献 7被引用数 17

ひとこと要約

本論文は、5つの国別方言（モロッコ語、アルジェリア語、トゥニジア語、エジプト語、ガルフ語）の50,000件を超える手動ラベル付与済みアラビア語SNSツイートを含む、オープンアクセスでマルチダイアレクト・マルチトピックなNLPデータセットを紹介する。このデータセットは、教師あり学習モデルを用いて、ダイアレクト識別、トピック分類、センチメント分析という3つの主要なNLPタスクをサポートする。ナイーブベイズがダイアレクト検出で最高のF1スコア（0.75）を達成し、線形SVCがトピック検出で最良の性能（F1-micro: 0.84）を示した。このデータセットは、低リソースなアラビア語方言NLP分野における研究とイノベーションを促進するために公開されている。

ABSTRACT

Natural Language Processing (NLP) is today a very active field of research and innovation. Many applications need however big sets of data for supervised learning, suitably labelled for the training purpose. This includes applications for the Arabic language and its national dialects. However, such open access labeled data sets in Arabic and its dialects are lacking in the Data Science ecosystem and this lack can be a burden to innovation and research in this field. In this work, we present an open data set of social data content in several Arabic dialects. This data was collected from the Twitter social network and consists on +50K twits in five (5) national dialects. Furthermore, this data was labeled for several applications, namely dialect detection, topic detection and sentiment analysis. We publish this data as an open access data to encourage innovation and encourage other works in the field of NLP for Arabic dialects and social media. A selection of models were built using this data set and are presented in this paper along with their performances.

研究の動機と目的

• アラビア語方言（DA）のNLP分野において、特にエジプト語やガルフ語を越えた低リソースなバリエーションを対象とした、オープンで高品質でラベル付きのデータセットが不足しているという問題に対処すること。
• Twitterから得た大規模でマルチダイアレクト・マルチトピックのSNSデータセットを収集・手動ラベリングし、多様なNLPアプリケーションを支援すること。
• 研究者や開発者によるデータ収集およびラベリング作業の負担を軽減するため、公開可能なベンチマークデータセットを提供すること。
• 提案されたデータセット上で、3つの主要なNLPタスク（ダイアレクト検出、トピック分類、センチメント分析）におけるベースラインモデルの性能を評価すること。

提案手法

• 5つの国別アラビア語方言（モロッコ語、アルジェリア語、トゥニジア語、エジプト語、ガルフ語）を対象とするために、多言語ハッシュタグとキーワードを用いてTwitterからデータを収集した。
• フィルタリング後のデータセットは52,210件のツイートを含み、3つのタスク（ダイアレクト検出、トピック分類（政治、健康、社会、スポーツ、経済、および「その他」）、センチメント分析（ポジティブ、ネガティブ、ニュートラル））に対して手動ラベリングが行われた。
• ラベリングは人間のラベラーが実施され、相互ラベル同意度のチェックにより品質を確保した。データセットは完全な透明性とアクセス可能性を備えて公開された。
• スコア最適化とパイプライン最適化を用いて、ロジスティック回帰、SGD分類器、線形SVC、ナイーブベイズといった教師あり機械学習モデルを訓練および評価した。
• 特にトピック検出において顕著な不均衡（「その他」カテゴリが75％）が見られたため、モデルの汎化性能を向上させるために、多数クラスのアンダーサンプリングが推奨された。
• 性能評価には標準的な指標（F1スコア（マイクロ）、精度、再現率、正解率、バランス正解率）を、すべてのタスクで用いた。

実験結果

リサーチクエスチョン

• RQ1 大規模でマルチダイアレクト・マルチトピックなアラビア語SNSデータセットを、NLPタスクに適切に収集・手動ラベリングできるか？
• RQ2 本研究で新たに公開されたこのデータセットを用いて、標準的な教師あり機械学習モデルがダイアレクト識別、トピック分類、センチメント分析の各タスクでどの程度の性能を示すか？
• RQ3 異なるモデル（例：ロジスティック回帰対ナイーブベイズ）の性能のトレードオフは、低リソースなアラビア語方言において、3つのNLPタスク全体でどのように現れるか？
• RQ4 「その他」トピックカテゴリにおけるデータの不均衡が、モデル性能にどの程度影響を及えるか。また、その不均衡はどのように緩和できるか？
• RQ5 このオープンアクセスデータセットは、今後のアラビア語方言NLP分野における研究とイノベーションの信頼できる基準となる可能性があるか？

主な発見

• ナイーブベイズ分類器が、ダイアレクト検出で最高のF1スコア（0.75）を達成し、ロジスティック回帰（0.72）、SGD分類器（0.73）、線形SVC（0.75）を上回った（マイクロF1スコア基準）。
• 線形SVCがトピック検出で最高のF1-microスコア（0.84）を記録し、ロジスティック回帰（0.82）に次いで優れた性能を示したが、これは「その他」カテゴリの高い不均衡にもかかわらずであった。
• センチメント分析では、SGD分類器が最高のF1-microスコア（0.74）と正解率（0.77）を達成し、ロジスティック回帰や線形SVCをわずかに上回った。一方、ナイーブベイズは最も弱い性能（F1-micro: 0.67）を示した。
• センチメントラベル付きのツイートは52,210件あり、そのうち30,033件（57.5％）がニュートラル、15,385件（29.5％）がネガティブ、6,792件（13％）がポジティブとラベル付けされた。これは顕著なクラス不均衡を示している。
• 「その他」トピックカテゴリは、トピックラベル付きツイートの75％（50,000件中37,313件）を占めており、顕著なクラス不均衡が生じており、効果的なモデルトレーニングのためにはアンダーサンプリングが不可欠である。
• このデータセットは[1]で公開されており、すべてのベースラインモデルは[8]で入手可能である。これにより、今後のアラビア語方言NLP分野における再現性とベンチマーク作成が可能となる。