[論文レビュー] SemEval-2023 Task 12: Sentiment Analysis for African Languages (AfriSenti-SemEval)

Shamsuddeen Hassan Muhammad, Idris Abdulmumin+8 more|arXiv (Cornell University)|Apr 13, 2023

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本論文は、14の低リソースなアフリカ言語を対象としたSentiment Analysisに特化したSemEval共同作業課題であるAfriSenti-SemEvalを紹介する。110K件のツイートデータセットを用い、3つの感情分類クラス（肯定的、否定的、ニュートラル）でラベル付けされたものである。最先端の性能を達成したのは、アフリカを基盤とするモデル、特にAfroXLMRであり、多言語分類では75.06％の加重F1、ゼロショット分類では75.06％の加重F1を達成した。

ABSTRACT

We present the first Africentric SemEval Shared task, Sentiment Analysis for African Languages (AfriSenti-SemEval) - The dataset is available at https://github.com/afrisenti-semeval/afrisent-semeval-2023. AfriSenti-SemEval is a sentiment classification challenge in 14 African languages: Amharic, Algerian Arabic, Hausa, Igbo, Kinyarwanda, Moroccan Arabic, Mozambican Portuguese, Nigerian Pidgin, Oromo, Swahili, Tigrinya, Twi, Xitsonga, and Yorùbá (Muhammad et al., 2023), using data labeled with 3 sentiment classes. We present three subtasks: (1) Task A: monolingual classification, which received 44 submissions; (2) Task B: multilingual classification, which received 32 submissions; and (3) Task C: zero-shot classification, which received 34 submissions. The best performance for tasks A and B was achieved by NLNDE team with 71.31 and 75.06 weighted F1, respectively. UCAS-IIE-NLP achieved the best average score for task C with 58.15 weighted F1. We describe the various approaches adopted by the top 10 systems and their approaches.

研究の動機と目的

• 低リソースなアフリカ言語におけるSentiment Analysisリソースとベンチマークの不足に対処すること。これらはNLP研究において過小評価されている。
• 4つの言語系統にまたがる14のアフリカ言語における感情分類のための共通評価フレームワークを確立すること。
• 特に計算リソースが限られた言語に特化した多言語およびゼロショットモデルの開発を促進すること。
• 複数のアフリカ言語における公開可能なデータセットと感情リソースの提供を通じて、アフリカNLP分野の研究を奨励すること。
• 特にアフリカを基盤とするモデルが、低リソースな感情分類設定においてどれほど効果的であるかを評価すること。

提案手法

• 本課題は3つのサブタスクから成る：単言語分類（タスクA）、多言語分類（タスクB）、14のアフリカ言語におけるゼロショット分類（タスクC）。
• 110K件のツイートデータセットはTwitter APIを介して収集され、ネイティブスピーカーによる3つの感情クラス（肯定的、否定的、ニュートラル）によるラベル付けが行われた。
• データセットは、アフリカ＝アジア語族、ニジェール＝コンゴ語族、インド＝ヨーロッパ語族、英語クレオール語族に属する14のアフリカ言語をカバーしている。
• 単言語および多言語タスクのため、AfroXLMR、mDeBERTaV3、XLM-Tなどの事前学習済み言語モデル（PLM）が微調整された。
• ゼロショット分類のため、ドメイン特化型微調整なしに性能を向上させるために、感情リソースを用いて多言語BERTをトレーニングした。
• 参加チームは、ドメイン適応型事前学習、アンサンブル手法、言語固有の微調整などの技術を用い、モデルの一般化性能を向上させた。

Figure 2: A timeline of SemEval Shared Tasks from 2013 to 2022 with examples of sentiment analysis tasks.

実験結果

リサーチクエスチョン

• RQ1 AfroXLMRのようなアフリカを基盤とする事前学習済み言語モデルは、低リソースなアフリカ言語における感情分類にどの程度効果的か。
• RQ2 単言語感情分類において、ドメインおよびタスク特化型微調整によってどの程度のパフォーマンス向上が達成できるか。
• RQ3 多言語モデルは、オロモ語やティグリニャ語のような低リソースなアフリカ言語において、どの程度ゼロショット推論に一般化できるか。
• RQ4 感情リソースは、アフリカ言語におけるゼロショット感情分類のパフォーマンスをどの程度向上させるか。
• RQ5 コードスイッチィング、トーン、ディグラフィアといった、アフリカ言語における感情分析の主な課題は何か。それらはモデルのパフォーマンスにどのように影響するか。

主な発見

• NLNDEチームは、タスクA（単言語）でAfroXLMR-largeと言語固有の微調整を用いて、加重F1スコア71.31％の最高性能を達成した。
• タスクB（多言語）では、NLNDEチームが最適なソース言語を選択して共同学習を行うことで、75.06％の加重F1を達成し、標準的な多言語微調整を上回った。
• タスクC（ゼロショット）では、UCAS-IIE-NLPチームが感情リソースを拡張した多言語BERTモデルを用いて、平均加重F1スコア58.15％の最高性能を達成した。
• AfroXLMR-largeは、単言語および多言語タスクの両方で他の多言語モデルを上回り、アフリカNLP分野における有効性を示した。
• 高いパフォーマンスを示したが、高リソース言語のベンチマークと比較して依然として性能が劣っており、低リソース環境におけるさらなる改善の余地が大きいことが示された。
• 最高のパフォーマンスを示したチームは、アフリカの機関に所属していなかったため、現在のところ現地の専門知識の欠如が顕著であり、アフリカNLP分野における包括的で包摂的な協働の必要性が浮き彫りになった。