[論文レビュー] Categorising Fine-to-Coarse Grained Misinformation: An Empirical Study of COVID-19 Infodemic

Ye Jiang, Xingyi Song+3 more|arXiv (Cornell University)|Jun 22, 2021

Misinformation and Its Impacts被引用数 8

ひとこと要約

本稿では、8つのカテゴリ（関連する事実検証、コメント、質問などを含む）を有する、1,722件のCOVID-19フェイクニュースツイートからなる詳細な手作業アノテーションデータセットを紹介する。このデータセットは、フェイクニュース検出およびソーシャル行動分析を可能にする。研究では、フェイクニュースと事実検証ツイートの両方が類似した速度で広がること、また、質問やコメントといったソーシャル行動がフェイクニュースと強く相関していることが明らかになった。一方で、最先端のNLPモデルは「主張を除外しての検証」設定において顕著な性能低下を示し、未確認のフェイクニュースへの一般化能力が著しく低いことが示された。

ABSTRACT

The spreading COVID-19 misinformation over social media already draws the attention of many researchers. According to Google Scholar, about 26000 COVID-19 related misinformation studies have been published to date. Most of these studies focusing on 1) detect and/or 2) analysing the characteristics of COVID-19 related misinformation. However, the study of the social behaviours related to misinformation is often neglected. In this paper, we introduce a fine-grained annotated misinformation tweets dataset including social behaviours annotation (e.g. comment or question to the misinformation). The dataset not only allows social behaviours analysis but also suitable for both evidence-based or non-evidence-based misinformation classification task. In addition, we introduce leave claim out validation in our experiments and demonstrate the misinformation classification performance could be significantly different when applying to real-world unseen misinformation.

研究の動機と目的

• COVID-19フェイクニュース情報拡散の際のソーシャル行動（例：質問、コメント、事実検証）を理解するためのギャップを埋める。
• 非証拠ベースおよび証拠ベースのフェイクニュース分類を支援するため、8つのカテゴリを有する1,722件のツイートからなる詳細な手作業アノテーションデータセットを構築する。
• フェイクニュースの拡散と、質問、コメント、事実検証などの関連するソーシャル行動との相関関係を調査する。
• 最先端のNLPモデルが、実際の展開状況を模倣する「主張を除外しての検証」クロスバリデーション設定下で、フェイクニュース分類にどの程度耐性があるかを評価する。

提案手法

• IFCNが事実検証済みのフェイクニュース主張を用いて、クエリとしての主張を基に情報検索パイプラインを用いて関連ツイートを抽出した。
• 8つのカテゴリ（関連する事実検証、関連するフェイクニュース、コメント、質問、関連するその他の情報、無関係、および文脈用の2つの追加クラス）を有する詳細なアノテーションスキームを開発した。
• 各ツイートは独立した3名のアノテーターがアノテートし、アノテーター間整合性はKrippendorff’s alpha（0.67、実質的合意）で測定された。
• 最先端のNLPモデル（例：BERT_Pair）を用いて、非証拠ベース、証拠ベース、および詳細分類の3つの分類タスクでベンチマーク実験を実施した。
• 現実世界の展開を模倣するため、トレーニング時に未確認の主張が除外される「主張を除外しての検証」戦略を新規に適用した。
• 10か月間にわたる定量的分析を通じて、フェイクニュースの進化と種類を調査した。

実験結果

リサーチクエスチョン

• RQ1 フェイクニュース主張について質問やコメントを行うソーシャルメディア投稿はどれくらいの数であり、これらの行動はフェイクニュースの拡散と相関しているか？
• RQ2 事実検証ツイートの数は、フェイクニュースツイートの数と相関しているか？
• RQ3 ソーシャルメディア上で拡散されるフェイクニュースの明確なカテゴリと特徴は何か？
• RQ4 最先端のNLPモデルは、標準的なクロスバリデーションとは対照的に、現実的な「主張を除外しての検証」設定下でどの程度の性能を示すか？
• RQ5 コメントや質問といったソーシャル行動が、フェイクニュースおよび事実検証コンテンツとどの程度同時に発生するか？

主な発見

• フェイクニュースと事実検証ツイートは類似した拡散速度を示しており、事実検証活動が大規模なフェイクニュースの拡散を抑えるには不十分である可能性を示している。
• フェイクニュースに関する質問やコメントは、フェイクニュースおよび事実検証ツイートと強く正の相関関係にあり、一般ユーザーが誤った主張に対して能動的に関与している可能性を示している。
• フェイクニュースツイートの多くが信頼性の高い情報源からのURLを含んでおり、信頼できる情報が意図的に操作または誤解を招く形で利用されている可能性を示している。
• 「主張を除外しての検証」設定ではF1スコアが著しく低下し、特に「コメント」クラスではF1 < 0.25にまで低下した。これは、モデルがトレーニングで使用した主張に過剰適合し、未確認のフェイクニュースには一般化できないことを示している。
• 「フェイクニュース」クラスは両設定下で比較的安定した性能（F1 ~0.43）を示したが、これはサンプル数が多いためであり、他のクラス（例：「質問」や「コメント」）は一般化能力に欠けることが判明した。
• 混同行列の分析から、モデルは「関連する事実検証」を「事実検証」と、「コメント」を「フェイクニュース」と頻繁に誤分類しており、意味的類似性およびコメント文にフェイクニュースが含まれるためである。