[論文レビュー] False News Detection on Social Media

Juan Cao, Qiang Sheng+4 more|arXiv (Cornell University)|Aug 28, 2019

Misinformation and Its Impacts参考文献 25被引用数 10

ひとこと要約

本論文は、新しく公開された MCG-FNeWS データセットを用いて、Sina Weibo におけるマルチモーダル偽ニュース検出コンペティションを紹介し、テキスト、画像、マルチモーダル検出の3つのサブタスクを提案する。早期統合によるテキストと画像特徴の統合が、F1スコア 0.875 を達成し、個々のモダリティモデルや後期統合を上回り、リアルタイムの偽ニュース検出におけるマルチモーダル統合の有効性を示している。

ABSTRACT

Social media has become a major information platform where people consume and share news. However, it has also enabled the wide dissemination of false news, i.e., news posts published on social media that are verifiably false, causing significant negative effects on society. In order to help prevent further propagation of false news on social media, we set up this competition to motivate the development of automated real-time false news detection approaches. Specifically, this competition includes three sub-tasks: false-news text detection, false-news image detection and false-news multi-modal detetcion, which aims to motivate participants to further explore the efficiency of multiple modalities in detecting false news and reasonable fusion approaches of multi-modal contents. To better support this competition, we also construct and publicize a multi-modal data repository about False News on Weibo Social platform(MCG-FNeWS}) to help evaluate the performance of different approaches from participants.

研究の動機と目的

• SNS上で急速に広がる偽ニュースのリアルタイム検出の緊急なニーズに対応すること。
• テキスト的・視覚的・マルチモーダル特徴が、偽ニュースと本物のニュースを区別する上でどの程度有効であるかを調査すること。
• 研究を加速させるために、ベンチマークデータセットとコンペティションフレームワークを提供すること。
• 検出性能の向上を図るため、外部知識（例：事実確認リポジトリ）の統合を促進すること。
• 複数モダリティ間の統合戦略を評価・比較し、検出精度を向上させること。

提案手法

• 偽ニューステキスト検出、画像検出、マルチモーダル検出の3つのサブタスクからなるコンペティションフレームワークを提案する。
• 10,000件以上のWeibo投稿を含み、偽ニュースと本物のニュースがバランスされた、テキスト、画像、発信者プロフィールを備えた大規模なマルチモーダルデータセット MCG-FNeWS を構築する。
• テキストモダリティと画像モダリティの特徴抽出に、それぞれ事前学習済みの BERT および VGG19 モデルを用いる。
• マルチモーダル統合に、早期統合（モダリティ埋め込みの連結）と後期統合（予測の集約）を採用する。
• ニューロンレベルでのクロスモダリティ相互作用を学習するため、アテンションベースの統合モデル（attRNN）を導入する。
• 事実確認の反証 37,877件を含む、信頼できる出典からの外部事実確認リポジトリを提供する。

実験結果

リサーチクエスチョン

• RQ1 SNSにおける偽ニュース検出において、テキスト特徴のみでどの程度有効に機能するか？
• RQ2 改ざんや誤解を招くような画像コンテンツは、どの程度偽ニュースを示唆するか？
• RQ3 テキスト特徴と視覚的特徴を最適に統合する方法は何か？
• RQ4 事実確認の反証などの外部知識は、自動検出システムの精度をどの程度向上させられるか？
• RQ5 リアルタイムの偽ニュース検出において、マルチモーダル統合戦略は単一モダリティアプローチを上回るか？

主な発見

• 早期統合ベースラインは、マルチモーダルサブタスクで F1スコア 0.875 を達成し、後期統合（F1: 0.836）と attRNN（F1: 0.845）を上回った。
• BERTを用いたテキストモデリングは F1スコア 0.854 を達成し、言語的手がかりを活用した偽ニュース検出における優れた性能を示した。
• 事前学習済みの VGG19 は F1スコア 0.671 を記録したが、微調整後の VGG19 は 0.687 に向上し、視覚的特徴の微調整の価値を示した。
• 視覚的検出における最先端の MVNN モデルは F1スコア 0.772 を達成し、標準的な VGG19 ベースラインを著しく上回った。
• MCG-FNeWS データセットには、10,000件以上のバランスの取れた偽ニュースと本物のニュース投稿が含まれており、外部事実確認リポジトリには 37,877件の反証が存在する。
• コンペティションフレームワークとデータセットは、マルチモーダル偽ニュース検出システムの評価に堅牢なベンチマークを提供しており、早期統合が最も効果的な統合戦略であると判明した。