[論文レビュー] Ginger Cannot Cure Cancer: Battling Fake Health News with a Comprehensive Data Repository

Enyan Dai, Yiwei Sun+1 more|arXiv (Cornell University)|Jan 27, 2020

Misinformation and Its Impacts被引用数 15

ひとこと要約

本論文では、豊富にアノテートされたニュースコンテンツ、詳細なレビュー説明、ソーシャルメディアでのエンゲージメント、ユーザー ネットワーク データを備えた、最初で包括的かつ公開可能なフェイク ヘルス ニュースのリポジトリである FakeHealth を紹介する。このリポジトリは、説明可能で知識を活用した健康に関する誤情報の検出を可能にし、データセットの品質を検証するための探索的分析により、分野における主な課題を同定する。

ABSTRACT

Nowadays, Internet is a primary source of attaining health information. Massive fake health news which is spreading over the Internet, has become a severe threat to public health. Numerous studies and research works have been done in fake news detection domain, however, few of them are designed to cope with the challenges in health news. For instance, the development of explainable is required for fake health news detection. To mitigate these problems, we construct a comprehensive repository, FakeHealth, which includes news contents with rich features, news reviews with detailed explanations, social engagements and a user-user social network. Moreover, exploratory analyses are conducted to understand the characteristics of the datasets, analyze useful patterns and validate the quality of the datasets for health fake news detection. We also discuss the novel and potential future research directions for the health fake news detection.

研究の動機と目的

• フェイク ヘルス ニュース検出のための包括的で多面的なデータセットにおける重要なギャップを埋める。
• 説明可能で知識に基づいた検出アプローチを支援する、豊富でアノテート済みのデータセットを提供する。
• 研究者がフェイク ヘルス ニュースの拡散における伝播パターンとユーザー行動を研究できるようにする。
• 多様なデータソースを活用して、強固で解釈可能なフェイク ヘルス ニュース検出モデルの開発を促進する。
• 高品質でスケーラブルかつプライバシーに配慮したデータセットをリリースすることで、今後の健康に関する誤情報研究を支援する。

提案手法

• ニュース コンテンツに加え、出典元の出版者、画像、メタデータを含む、2 つのデータセット（HealthStory と HealthRelease）を構築した。
• Twitter から 500,000 件のツイート、29,000 件の返信、14,000 件のリツイート、27,000 件のユーザー プロフィール（タイムラインとフレンドリストを含む）を収集・構造化した。
• 信用性とバイアスを評価するための 10 項の標準化された評価基準（C1–C8、S9–S10、R9–R10）を用いて、各ニュース項目に対して詳細なレビューをアノテートした。
• ソーシャル エンゲージメントおよびユーザー ネットワークの ID のみを保存することで、ユーザーのプライバシーを保護した。同時に、Twitter のパブリック API を介してフルデータへの API アクセスを提供した。
• プログラム的アクセスを可能にするために、contents、reviews、engagements、user_network の 4 つの主要フォルダに分類し、各フォルダに構造化された JSON ファイルを配置した。
• リポジトリのバージョン管理を実施し、継続的な利用可能性を維持することで、再現性とスケーラビリティを確保した。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルメディア上でのフェイク ヘルス ニュースの主な特徴と伝播パターンは何か？
• RQ2 ソーシャルメディア利用者は、事実とフェイクの健康ニュースに対してどのようにエンゲージするのか？また、ボットと通常のユーザーはそれぞれどのような役割を果たすのか？
• RQ3 ニュースレビューにおけるどの基準が、フェイクと事実の健康ニュースを最も明確に区別するか？
• RQ4 アノテートされたレビュー基準とソーシャル コンテキストを活用して、説明可能な検出モデルを効果的に訓練できるか？
• RQ5 レビュー説明から抽出した知識グラフは、フェイク ニュース検出の解釈可能性と正確性をどのように向上させることができるか？

主な発見

• FakeHealth リポジトリには、500,000 件のツイート、29,000 件の返信、14,000 件のリツイート、27,000 件のユーザー プロフィール（タイムラインとフレンドリストを含む）が含まれており、大規模なソーシャル ネットワーク分析が可能である。
• ニュースレビューは、証拠の質、利益相反の開示、センセーショナルな表現など、10 項の評価基準をカバーしており、説明可能な検出の基盤を提供する。
• 探索的分析の結果、通常のユーザーとボットの両方が、フェイクおよび事実の健康ニュースの拡散に貢献しており、伝播パターンに顕著な差異が認められた。
• このデータセットは、出版者の信頼性、視覚的コンテンツ、ソーシャル コンテキストを活用する検出モデルの開発を可能にし、テキストのみのアプローチを上回る性能向上を実現する。
• 構造化されたレビュー アノテーションの統合により、リスクの誤解釈や資金提供の開示不足といった、健康ニュースにおける特定の欠陥を同定するモデルのトレーニングが可能になった。
• このデータセットの設計により、レビューから背景知識を抽出して解釈可能な健康知識グラフを構築することで、今後の知識ベースの検出研究が可能になる。