[論文レビュー] ArCOV19-Rumors: Arabic COVID-19 Twitter Dataset for Misinformation Detection

Fatima Haouari, Maram Hasanain+2 more|arXiv (Cornell University)|Oct 17, 2020

Misinformation and Its Impacts被引用数 39

ひとこと要約

著者らは ArCOV19-Rumors を導入します。手動で注釈付けされたアラビア語Twitterデータセットで、誤情報検出を目的とし、主張レベルおよびツイートレベルの検証と伝播ネットワークをサポートし、SOTAモデルを用いたベースラインを提供します。

ABSTRACT

In this paper we introduce ArCOV19-Rumors, an Arabic COVID-19 Twitter dataset for misinformation detection composed of tweets containing claims from 27th January till the end of April 2020. We collected 138 verified claims, mostly from popular fact-checking websites, and identified 9.4K relevant tweets to those claims. Tweets were manually-annotated by veracity to support research on misinformation detection, which is one of the major problems faced during a pandemic. ArCOV19-Rumors supports two levels of misinformation detection over Twitter: verifying free-text claims (called claim-level verification) and verifying claims expressed in tweets (called tweet-level verification). Our dataset covers, in addition to health, claims related to other topical categories that were influenced by COVID-19, namely, social, politics, sports, entertainment, and religious. Moreover, we present benchmarking results for tweet-level verification on the dataset. We experimented with SOTA models of versatile approaches that either exploit content, user profiles features, temporal features and propagation structure of the conversational threads for tweet verification.

研究の動機と目的

• COVID-19期間中の誤情報検出のための手動で注釈付けされたアラビア語ツイッター・データセット（ArCOV19-Rumors）を作成する。
• 主張レベル検証（自由形式の主張）とツイートレベル検証（ツイート内の主張の検証）を可能にする。
• 伝播ネットワーク（リツイートと会話のスレッド）を提供し、拡散の研究と検証の支援を行う。
• 健康分野を超えた多様な主張トピックを扱う（社会、政治、宗教、エンターテインメント、スポーツなど）。
• アラビア語の誤情報検出に関する将来の研究を支援するためのベースラインモデルとベンチマークを提供する。

提案手法

• アラビア語のファクトチェッカーや保健機関から検証済みのCOVID-19主張を収集（初期は113件が虚偽、49件が真実）、その後WHO/UNのソースや英語プラットフォームから追加の真実の主張を加えてバランスを取る（合計162件：113件虚偽、49件真実）。
• 各主張について、ArCOV-19 から関連ツイートを取得するためのブール検索クエリを作成し、関連性を手動で選別する（関連ツイート9,414件を得る）。
• 各関連ツイートを主張に対する stance（同じ主張を表現している、主張を否定している、その他）で注釈付けする。
• 各関連ツイートの伝播ネットワーク（リツイートおよび会話スレッド）を収集し、拡散の分析と多モーダル検証信号を可能にする。
• データセットで有効になる3つのタスクを定義する：主張レベル検証、ツイートレベル検証（事前の関連ツイートを用いた初期検証を含む）、および同じ主張を表現するツイートの主張検索。
• 検証済み主張、ラベル付きの主張関連ツイート、伝播ネットワーク、注釈ガイドライン、ベースラインの折りたたみを含むデータセットの構成要素をリリースする。

実験結果

リサーチクエスチョン

• RQ1 主張レベルおよびツイートレベルで、テキスト的シグナルや文脈的シグナル（伝播ネットワークを含む）を用いて、アラビア語の誤情報をどの程度検出できるか？
• RQ2 ツイートレベルの検証は伝播ネットワーク、時間的特徴、ユーザープロファイルを活用してアラビア語の真偽判断を改善できるか？
• RQ3 主張とツイート全体での true/false/other ラベルの分布はどうなるか、そして伝播構造が検証をどう支援するか？
• RQ4 対象ツイートの完全な伝播を伴わずに関連ツイートの早期検索を提供することは、初期検証の性能を改善するか？

主な発見

• データセットには、健康分野およびその他のトピック（社会、政治、宗教、エンターテインメント、スポーツ）を含む9,414件のラベル付けされた関連ツイートを含む、138件の検証済みCOVID-19主張が含まれる。
• 2つの検証レベルをサポート：主張レベル（関連ツイートをすべて用いて主張を検証）とツイートレベル（個々のツイートを検証）。”
• ベンチマーク実験は、事前学習済みのアラビア語BERTモデル（MARBERT、AraBERT）がツイートレベル検証で他のベースラインを上回り、MARBERT が macro-F1 約0.74 を達成することを示した。
• 伝播ネットワークを活用するモデル（Bi-GCN、PPC-RNN+CNN）は、コンテンツのみのアプローチを上回るが、真偽検出での性能は真/偽で異なる。
• データセットには返信やリツイートといった伝播構造が含まれており、アラビ語ツイッターコンテンツの誤情報検出のためのマルチモーダルおよび時間的分析を可能にする。