[論文レビュー] AraCOVID19-MFH: Arabic COVID-19 Multi-label Fake News and Hate Speech Detection Dataset

Mohamed Seghir Hadj Ameur, Hassina Aliane|arXiv (Cornell University)|May 7, 2021

Misinformation and Its Impacts参考文献 29被引用数 14

ひとこと要約

本論文では、フェイクニュース、ヘイトスピーチ、事実性、方言を含む10の次元でラベル付けされた、10,828件のアラビア語ツイートからなる手動ラベル付のマルチラベルデータセット、AraCOVID19-MFHを紹介する。特にアラビア語COVID-19ツイートで事前に学習されたAraBERTおよびmBERTの微調整済みトランスフォーマーモデルは、主なタスクで0.98を超える加重Fスコアを達成し、多言語誤情報検出におけるこのデータセットの有用性を示している。

ABSTRACT

Along with the COVID-19 pandemic, an "infodemic" of false and misleading information has emerged and has complicated the COVID-19 response efforts. Social networking sites such as Facebook and Twitter have contributed largely to the spread of rumors, conspiracy theories, hate, xenophobia, racism, and prejudice. To combat the spread of fake news, researchers around the world have and are still making considerable efforts to build and share COVID-19 related research articles, models, and datasets. This paper releases "AraCOVID19-MFH" a manually annotated multi-label Arabic COVID-19 fake news and hate speech detection dataset. Our dataset contains 10,828 Arabic tweets annotated with 10 different labels. The labels have been designed to consider some aspects relevant to the fact-checking task, such as the tweet's check worthiness, positivity/negativity, and factuality. To confirm our annotated dataset's practical utility, we used it to train and evaluate several classification models and reported the obtained results. Though the dataset is mainly designed for fake news detection, it can also be used for hate speech detection, opinion/news classification, dialect identification, and many other tasks.

研究の動機と目的

• COVID-19パンデミック期における誤情報およびヘイトスピーチを検出するための、大規模かつ高品質なアラビア語データセットの不足に対処すること。
• 事実性、感情、方言、検証価値など、ツイートコンテンツの複数の次元を捉えた豊富なラベル付けを実施すること。
• フェイクニュース検出にとどまらず、ヘイトスピーチ検出、意見分類、方言同定などのタスクを含む、アラビア語NLP分野における研究を可能にすること。
• 微調整とタスク固有の事前学習を用いた複数のトランスフォーマーベースモデルの訓練・評価を通じて、データセットの有用性を検証すること。

提案手法

• データセットは、COVID-19パンデミック関連のトピックと多様なアラビア語方言をカバーする10,828件のTwitterツイートを手動でラベル付けすることで構築された。
• 各ツイートは、「フェイク情報を含む」「事実的」「ヘイト」「非難および否定的発言」「検証価値あり」「方言」を含む10のマルチラベルカテゴリにラベル付けされた。
• 人間のラベラーがラベルの一貫性を確保し、ラベルの一貫性を評価するためのインタラノテーター整合性を測定した。
• 事前学習済みトランスフォーマーモデル（AraBERT、mBERT、DistilBERT）を、5分割交差検証戦略を用いてデータセットで微調整した。
• ドメイン固有の言語に特化した性能向上を図るため、150万件のアラビア語COVID-19ツイートで追加の事前学習を実施した。
• モデル評価には、全10ラベルにおける加重Fスコアが用いられ、微調整と事前学習の影響を比較するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 AraCOVID19-MFHデータセットは、複数の次元にわたるアラビア語COVID-19ツイートの正確なマルチラベル分類をどの程度可能にするか？
• RQ2 重みの微調整が、重みを凍結した状態と比較して、このデータセットにおける分類性能をどの程度向上させるか？
• RQ3 アラビア語COVID-19ツイートで追加の事前学習を実施することで、AraBERTおよびmBERTの下流分類タスクにおける性能はどの程度向上するか？
• RQ4 このデータセットは、フェイクニュース検出にとどまらず、ヘイトスピーチ検出や方言同定などのタスクをサポートできるか？
• RQ5 ドメイン特化の事前学習は、低リソース言語向け誤情報検出用モデルにどのような影響を及ぼすか？

主な発見

• AraCOVID19-MFHデータセット上でトランスフォーマーモデルを微調整することで、全タスクで0.1から0.5のFスコア向上が見られ、顕著な性能向上が確認された。
• ドメイン特化のアラビア語COVID-19ツイートで微調整されたAraBERTおよびmBERTモデルが最高の性能を示し、「ヘイトを含む」および「治療法について話す」というタスクで加重Fスコアが0.98を超えた。
• 最高性能を発揮したモデル、AraBERT COVID-19は、「ヘイトを含む」ラベルで加重Fスコア0.9858、「治療法について話す」というラベルで0.9930を達成した。
• 微調整を行わなくても、アラビア語COVID-19データで事前学習されたモデルはベースラインモデルを上回る性能を示し、ドメイン特化の事前学習の価値を裏付けた。
• マルチラベルスキームが効果的であることが判明し、全10ラベルで高いFスコアが達成された。特に「フェイク情報を含む」といった挑戦的なラベルに対しても、微調整でFスコア0.9491を達成した。
• 結果から、高品質な手動ラベル付けと的確な事前学習の組み合わせが、アラビア語誤情報検出におけるモデル性能を顕著に向上させることを確認した。