[論文レビュー] Eating Garlic Prevents COVID-19 Infection: Detecting Misinformation on the Arabic Content of Twitter

Sarah Alqurashi, Btool Hamoui+3 more|arXiv (Cornell University)|Jan 9, 2021

Misinformation and Its Impacts被引用数 24

ひとこと要約

本研究では、人間がアノテートしたツイート（n=8,786）を用い、FastTextおよびword2vecの単語埋め込みを訓練することで、Twitter上におけるアラビア語の新型コロナウイルス関連フェイクニュースを検出する機械学習フレームワークを提案する。XGBoost分類器が、AUC、精度、再現率、F1スコアのすべてで最高を記録し、FastTextによる特徴強化が、語形が豊富で口語的であるアラビア語のテキスト処理において、従来の機械学習モデルおよびディープラーニングモデルの性能を顕著に向上させた。

ABSTRACT

The rapid growth of social media content during the current pandemic provides useful tools for disseminating information which has also become a root for misinformation. Therefore, there is an urgent need for fact-checking and effective techniques for detecting misinformation in social media. In this work, we study the misinformation in the Arabic content of Twitter. We construct a large Arabic dataset related to COVID-19 misinformation and gold-annotate the tweets into two categories: misinformation or not. Then, we apply eight different traditional and deep machine learning models, with different features including word embeddings and word frequency. The word embedding models (\ extsc{FastText} and word2vec) exploit more than two million Arabic tweets related to COVID-19. Experiments show that optimizing the area under the curve (AUC) improves the models' performance and the Extreme Gradient Boosting (XGBoost) presents the highest accuracy in detecting COVID-19 misinformation online.

研究の動機と目的

• 新型コロナウイルスパンデミックの初期段階において、アラビア語のフェイクニュースを自動検出する緊急のニーズに対処すること。
• 訓練および評価用に使用可能な、8,786件のアラビア語ツイートから成る高品質な人間アノテート済みデータセットを構築すること。
• 事前学習済み単語埋め込み（FastTextおよびword2vec）が、口語的で語形が豊富なアラビア語SNSテキストにおけるフェイクニュース検出性能を向上させるかを評価すること。
• 従来の機械学習分類器（例：XGBoost、SVM、ランダムフォレスト）とディープラーニングモデル（例：CNN、RNN、CRNN）を比較して、アラビア語フェイクニュース検出の有効性を検証すること。
• 不均衡データセットにおける検出性能を向上させるために、AUCに基づくハイパーパramータチューニングを用いてモデル性能を最適化すること。

提案手法

• 新型コロナウイルス関連のアラビア語ツイートを収集し、パンデミック初期段階に焦点を当て、2020年3月から4月にかけてのデータを対象とした。
• 人間のアノテーターを用いて、ツイートをフェイクニュースまたはそれ以外にラベル付けし、バランスが取れ、高品質な8,786件のツイートから成るデータセットを構築した。
• 200万件を超えるアラビア語新型コロナウイルス関連ツイートを用いて、FastTextおよびword2vecの2つの事前学習済み単語埋め込みモデルを訓練し、意味的および語形的特徴を捉えた。
• 生の特徴および埋め込み特徴を用いて、5つの従来の分類器（XGBoost、ランダムフォレスト、SVM、SGD、ナイーブベイズ）と3つのディープラーニングモデル（CNN、RNN、CRNN）を評価した。
• 従来の分類器にはグリッドサーチ、ディープラーニングモデルにはAUC損失関数を用いてハイパーパramータチューニングを実施し、不均衡データに対する性能向上を図った。
• 標準的な指標（AUC、精度、再現率、F1スコア）を用いてモデル性能を比較し、最も頑健な分類器を特定した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み単語埋め込みは、Twitter上でのアラビア語フェイクニュース検出における機械学習モデルの性能を向上させることができるか？
• RQ2 不均衡データセットにおいて、特にアラビア語フェイクニュース（新型コロナウイルス関連）を同定する際に、どの機械学習分類器が最も優れた性能を示すか？
• RQ3 FastTextとword2vec埋め込みは、口語的アラビア語SNSテキストに一般的な語形的・綴りの変異をどれほど正確に捉えられるか？
• RQ4 AUCに基づくハイパーパramータ最適化は、アラビア語ツイートにおける少数クラス（フェイクニュース）の検出をどの程度向上させるか？
• RQ5 健康法や陰謀論など、フェイクニュースの種別によってモデル性能に顕著な差が生じるか？

主な発見

• XGBoost分類器は、AUCスコアが0.92と最高を記録し、精度、再現率、F1スコアのすべてで他の分類器を上回った。
• FastText埋め込みは、アラビア語の語形変化や誤字を効果的に処理できるため、従来の分類器およびCNNにおける性能向上に顕著な寄与を示した。
• word2vec埋め込みは、CRNNなどのディープラーニングモデルにおいて優れた結果を示した。これは、モデルアーキテクチャに応じて埋め込みの強みが異なることを示唆している。
• AUCに基づくハイパーパramータ最適化により、少数クラスのフェイクニュースの検出性能が向上し、まれだが有害な誤情報の同定能力が向上した。
• 事前学習済み単語埋め込みを用いることで、埋め込みなしのモデルと比較して、すべての分類器の性能が一貫して向上した。これは、低リソースで口語的なアラビア語NLPタスクにおいて、埋め込みの価値を裏付けた。
• 8,786件のアノテート済みアラビア語ツイートから成るデータセットは、今後のアラビア語フェイクニュース検出研究における貴重なベンチマークを提供する。