[論文レビュー] Dataset of Fake News Detection and Fact Verification: A Survey

Taichi Murayama|arXiv (Cornell University)|Nov 5, 2021

Misinformation and Its Impacts参考文献 193被引用数 21

ひとこと要約

本稿は、フェイクニュース検出、事実検証、関連タスクの分野における118のデータセットについて包括的なサーベイを提示し、その特徴、利用タスク、限界を体系的に分類している。データセット構築における主な課題—例えばデータドリフト、バイアス、ベンチマークの欠如—を特定し、フェイクニュース研究におけるモデルの頑健性と再現可能性を向上させるための研究機会を提案している。

ABSTRACT

The rapid increase in fake news, which causes significant damage to society, triggers many fake news related studies, including the development of fake news detection and fact verification techniques. The resources for these studies are mainly available as public datasets taken from Web data. We surveyed 118 datasets related to fake news research on a large scale from three perspectives: (1) fake news detection, (2) fact verification, and (3) other tasks; for example, the analysis of fake news and satire detection. We also describe in detail their utilization tasks and their characteristics. Finally, we highlight the challenges in the fake news dataset construction and some research opportunities that address these challenges. Our survey facilitates fake news research by helping researchers find suitable datasets without reinventing the wheel, and thereby, improves fake news studies in depth.

研究の動機と目的

• フェイクニュース研究における検出、事実検証、関連タスクをカバーする118のデータセットについて、大規模かつ体系的なレビューを提供すること。
• 既存のサーベイとは異り、検出・検証手法に限定せず、データセットの特徴、タスク、限界に焦点を当てたギャップを埋めること。
• 再現可能で頑健なモデル評価を妨げる、データドリフト、バイアス、安定したベンチマークの欠如といったデータセット構築における重要な課題を浮き彫りにすること。
• 研究者が自らの研究を再発明せずに適切なデータセットを選択できるようにすることで、フェイクニュース研究の加速と深化を図ること。
• 動的知識統合やバイアス低減といった、データセット設計における未開拓の研究機会を同定すること。

提案手法

• フェイクニュース検出（51）、事実検証（25）、その他のタスク（42）の3分野にまたがる118のデータセットの大規模サーベイを実施。タスクには風刺や誤情報分析を含む。
• 出典（例：ソーシャルメディア、ニュース機関、事実検証ウェブサイト）、アノテーションタイプ（二値、多クラス、シーケンスラベル付け）、時間的スコープに基づいてデータセットを分類。
• 言語、ドメインカバレッジ、ラベルの信頼性、メタデータ（例：ユーザープロフィール、投稿時刻）の有無などのデータセット特徴を分析。
• データ安定性、API依存性、時間的整合性を評価することで、ベンチマーク適合性を検証。特にソーシャルメディアベースのデータセットにおいてはこれが重要。
• FNCおよびFEVERデータセットを用いたモデルを事例として、語彙レベルの注目バイアス、アノテーターのバイアス、政治的バイアス、性別／人種的バイアスといったデータセット内のバイアスを同定・議論。
• 動的知識グラフ統合やWikidataベースの固有名詞置換といったソリューションを提案し、データドリフトに対するモデルの頑健性を向上させることを目的とする。

実験結果

リサーチクエスチョン

• RQ1 フェイクニュース検出、事実検証、関連タスクにおける118のデータセットの主な特徴と相違点は何か？
• RQ2 既存のソーシャルメディアベースのデータセットが、なぜモデル評価のための安定したベンチマークとして不適切なのか？
• RQ3 語彙レベルの注目バイアス、アノテーターのバイアス、政治的バイアスといったバイアスが、フェイクニュース検出におけるモデルのパフォーマンスと公平性にどのように影響するか？
• RQ4 政治的または社会的文脈の変化（例：新大統領の登場、新規出来事の発生）に起因するデータドリフトが、モデルの一般化性能をどの程度低下させるか？
• RQ5 フェイクニュース研究におけるデータセット品質とモデルの頑健性を向上させるための研究機会は何か？

主な発見

• 本サーベイでは、3つの主要カテゴリに分類された118のデータセットを同定した。フェイクニュース検出用が51、事実検証用が25、その他のタスク（風刺や誤情報分析を含む）が42である。
• Twitter15、Twitter16、FakeNewsNetなど広く使われている多くのデータセットは、ソーシャルメディアAPI依存性や動的データの性質から、時間経過に伴い結果が一貫しないため、安定したベンチマークとして不適切である。
• 特に語彙レベルの注目バイアスやアノテーターのバイアスといったバイアスが、モデルの一般化に顕著に影響を与え、FNCおよびFEVERデータセットで学習したモデルが特定の名詞句に過剰に依存していることが判明した。
• 時間的変化に伴うトピックや固有名詞の変化（例：新しい政治的指導者）に起因するデータドリフトにより、将来的なまたはクロスドメイン設定でのモデル性能が低下する。2017年のデータで学習したモデルが2021年のコンテンツでは失敗する例が観察された。
• NELA-GTデータセットは、毎年コンテンツを更新することで長期的安定性を実現する有効なアプローチを示しており、持続可能なデータセットメンテナンスのモデルとして示唆されている。
• 本研究は、深刻な研究ギャップを明らかにした：フェイクニュース検出のための広く承認されたベンチマークは存在しない。今後の研究は、安定的で、動的かつバイアスに配慮したデータセット構築を最優先すべきである。