[論文レビュー] Multilingual Multimodal Digital Deception Detection and Disinformation Spread across Social Platforms

Maria Glenski, Ellyn Ayton+2 more|arXiv (Cornell University)|Sep 12, 2019

Misinformation and Its Impacts参考文献 22被引用数 10

ひとこと要約

本稿では、テキスト、画像、クロスプラットフォームにおける拡散パターンを統合して、SNSプラットフォーム上でのデジタル的欺瞞（フェイクニュース、プロパガンダ、デマなど）を検出する多言語・マルチモーダルモデルを提案する。二値分類では95%の正確性を達成し、多言語分類では0.76のマクロF1スコアを示した。これにより、テキストと画像の統合モデルが単一モodalアプローチを上回ること、および言語やプラットフォームを越えて欺瞞の顕著な言語的・行動的兆候が特定されることを示した。

ABSTRACT

Our main contribution in this work is novel results of multilingual models that go beyond typical applications of rumor or misinformation detection in English social news content to identify fine-grained classes of digital deception across multiple languages (e.g. Russian, Spanish, etc.). In addition, we present models for multimodal deception detection from images and text and discuss the limitations of image only and text only models. Finally, we elaborate on the ongoing work on measuring deceptive content (in particular disinformation) spread across social platforms.

研究の動機と目的

• 英語に限定されない、より細分化されたデジタル的欺瞞（例：プロパガンダ、デマ、風刺）のクラスを検出可能な多言語モデルの開発。
• テキストおよび視覚的特徴を統合したマルチモーダルな欺瞞分析を行い、単一モーダルモデルとの性能比較。
• 異なるデモグラフィックやプラットフォームにおける信頼性のあるニュースソースと欺瞞的ニュースソースのユーザー参加行動および拡散パターンの分析。
• 情報カスケードと一括行動を統一フレームワークで評価することで、クロスプラットフォームにおけるフェイクニュース拡散の測定。
• 誤報のインタラクティブ分析を可能にするツール「ErrFILTER」の開発。

提案手法

• 文字レベルの埋め込みとDeepWalkベースのネットワーク特徴量を用いて、多言語表現のための多言語テキスト分類モデルを訓練。
• 注意メカニズムを用いてテキストおよび視覚的特徴を統合する共同マルチモーダルモデルを構築し、欺瞞検出の性能を向上。
• コンテンツレベルではなく、デマコンテンツの拡散背後にある意図をラベル化するためのソースベースのアノテーションを採用し、細分化分類を可能に。
• 複数のプラットフォームで信頼性のあるニュースソースと欺瞞的ニュースソースの拡散パターンを比較するため、1,100万件のSNS投稿を分析。
• DARPA SocialSimプログラムの枠組みのもと、一貫したフレームワークを用いてクロスプラットフォームにおけるフェイクニュース拡散を追跡し、一括行動とURLの拡散を含む。
• 誤報コンテンツおよびモデル行動の可視化と分析が可能なインタラクティブツール「ErrFILTER」を構築。

実験結果

リサーチクエスチョン

• RQ1 多言語SNSコンテンツにおけるデジタル的欺瞞のサブクラス（例：風刺、プロパガンダ、デマ）において、言語的マーカーはどのように異なるか？
• RQ2 テキストと画像特徴を統合するマルチモーダルモデルは、単一モーダルモデルに比べてどの程度欺瞞検出性能を向上させるか？
• RQ3 異なるデモグラフィックおよびプラットフォームにおける信頼性のあるニュースソースと欺瞞的ニュースソースのユーザー参加行動および拡散行動にどのような差があるか？
• RQ4 フェイクニュースはTwitter、YouTube、Telegramなどのプラットフォーム間でどのように拡散するのか。また、一括アカウントと共有URLはどのような役割を果たすか？
• RQ5 危機的出来事の際、インターネット障害はフェイクニュース拡散にどのような影響を及ぼし、その影響はどのように測定できるか？

主な発見

• 最良の二値分類モデルは、英語の複数のサブクラスを含む欺瞞コンテンツを識別する際、95%の正確性と0.91のF1スコアを達成した。
• テキストと画像特徴を統合するマルチモーダルモデルは、欺瞞的コンテンツと信頼性のあるコンテンツの二値分類においてF1スコア0.74を達成し、テキストのみまたは画像のみのモデルを上回った。
• テキストのみのモデルは、画像のみのモデルよりもF測定値で3～13%高い性能を示し、欺瞞検出においてテキストがより情報量が多いことを示した。
• 多言語環境では、文字レベルの埋め込みとDeepWalk特徴量を用いたモデルが、4クラスおよび5クラス分類タスクの両方でマクロF1スコア0.76を達成した。
• 低所得および教育水準が低い層に属する少数の活発なユーザーが、大部分のフェイクニュース拡散を担っていた。
• ボットアカウントは人間ユーザーと異なった参加行動を示し、TwitterやYouTubeのような複数のプラットフォームで、欺瞞的コンテンツに対する反応は一貫していた。