[論文レビュー] ArCorona: Analyzing Arabic Tweets in the Early Days of Coronavirus (COVID-19) Pandemic

Hamdy Mubarak, Sabit Hassan|arXiv (Cornell University)|Dec 2, 2020

Misinformation and Its Impacts参考文献 23被引用数 7

ひとこと要約

本論文は、パンデミック初期のアラビア語ツイートから構成され、13のカテゴリ（フェイクニュース、政府の対応、個人の体験など）に手動でラベル付けされた、8,000件のツイートからなる、アラビア語のSNSで公に利用可能な最大規模のデータセットArCoronaを紹介する。このデータセットを用いて、著者たちは機械学習およびトランスフォーマー・モデル（特にAraBERT）を評価し、細分化分類において60.5％のF1スコアを達成した。これは、アラビア語SNSにおける重要な公的議論を同定する上で優れたパフォーマンスを示している。

ABSTRACT

Over the past few months, there were huge numbers of circulating tweets and discussions about Coronavirus (COVID-19) in the Arab region. It is important for policy makers and many people to identify types of shared tweets to better understand public behavior, topics of interest, requests from governments, sources of tweets, etc. It is also crucial to prevent spreading of rumors and misinformation about the virus or bad cures. To this end, we present the largest manually annotated dataset of Arabic tweets related to COVID-19. We describe annotation guidelines, analyze our dataset and build effective machine learning and transformer based models for classification.

研究の動機と目的

• アラブ世界におけるパンデミック関連のディス course 分析のための、大規模で手動でアノテートされたアラビア語ツイートデータセットの不足を解消すること。
• パンデミック初期段階におけるアラビア語ツイートに表現された、公的世論、誤情報、政府の対応、社会的影響を特定・分類すること。
• 公的健康政策や意思決定支援のため、アラビア語ツイートの細分化類別に向けた機械学習およびトランスフォーマー・モデルの評価を行うこと。
• 今後の研究を支援するため、公開可能なベンチマーク・データセットを提供すること。

提案手法

• 2020年2月21日から3月31日まで、twarc API を用いてキーワード「كورونا」（コロナ）を含む3,000万件のアラビア語ツイートを収集した。
• 影響力の高いコンテンツを保証するため、1日あたり上位200件のリツイート付きツイート（合計8,000件）を選定した。
• 報告（REP）、対応策（ACT）、フェイクニュース（RUMOR）、助言（ADVICE）、支援（SUPPORT）などを含む13クラスの分類体系を設計し、手動アノテーションを実施した。
• 品質管理のため、2名のネイティブなアラビア語話者を用いて高いアノテーター間一致度（kappa = 0.85）を達成した。
• 複数のモデルを評価した：n-gram特徴（単語[1-2]、文字[2-5]）を用いたSVM、Mazajak単語埋め込み、および序列分類用に微調整されたAraBERT。
• 訓練/開発/テストの分割割合を6,000/1,000/1,000として、評価指標としてマクロF1、適合率、再現率、正答率を報告した。

実験結果

リサーチクエスチョン

• RQ1 パンデミック初期段階におけるアラビア語ツイートの主なタイプは何か？また、アラブ諸国間でその傾向に差はあったか？
• RQ2 従来の機械学習モデルとトランスフォーマー基盤のモデルは、13のテーマ的カテゴリに分類する際にどの程度有効か？
• RQ3 フェイクニュース、治療法、政府対応要請などのうち、どのタイプのツイートが初期のアラビア語SNS議論で最も多く見られたか？
• RQ4 異なる特徴タイプを用いたSVMベースのモデルと比較して、AraBERTの細分化類別における性能はどの程度か？

主な発見

• 最も頻度の高かったツイートタイプは報告（1,664件）、政府対応（1,383件）、助言（1,047件）であり、公式発表や健康ガイドラインへの関心の高さがうかがえる。
• フェイクニュース（421件）と治療法（116件）は比較的まれで、それぞれ約5％および2％にとどまり、初期段階での誤情報の広がりは限定的であった。
• AraBERTは細分化類別において最高のF1スコア60.5％を達成し、n-gramおよび単語埋め込みを用いたSVMよりも優れた性能を示した。
• 混同行列の結果、INFO（情報）、RUMOR（フェイクニュース）、PRSNL（個人の体験）が最も誤分類されやすく、特にINFOがADVICE（助言）と混同されやすい傾向にあった。
• 7％のツイートに差し出しが含まれており、中国・イランへのステレオタイプ的表現が含まれており、SNSが差別の感情を広める役割を果たしていることが明らかになった。
• サウジアラビアはデータセット全体の59％を占め、その後に湾岸諸国および国際的アカウントが続いた。また、リツイートの主要な出所は、公式の政府およびメディアアカウントが支配的であった。