[論文レビュー] Findings of Factify 2: Multimodal Fake News Detection

S Suryavardan, Shreyash Mishra+10 more|arXiv (Cornell University)|Jul 19, 2023

Misinformation and Its Impacts被引用数 6

ひとこと要約

本論文は、AAAI 2023で開催された、テキストと画像の両方の証拠を用いてSNS上の主張を検証するマルチモーダルフェイクニュース検出チャレンジであるFactify 2共有タスクの成果を提示している。5つのマルチモーダル関係クラスをカバーする、ペアドテキストと画像の証拠を用いたシステムの評価が行われた。最良のモデルは、テキストにDeBERTa、視覚にSwinV2/CLIPを用いて、81.82%のF1スコアを達成し、マルチモーダル事実検証分野で最先端の性能を示した。

ABSTRACT

With social media usage growing exponentially in the past few years, fake news has also become extremely prevalent. The detrimental impact of fake news emphasizes the need for research focused on automating the detection of false information and verifying its accuracy. In this work, we present the outcome of the Factify 2 shared task, which provides a multi-modal fact verification and satire news dataset, as part of the DeFactify 2 workshop at AAAI'23. The data calls for a comparison based approach to the task by pairing social media claims with supporting documents, with both text and image, divided into 5 classes based on multi-modal relations. In the second iteration of this task we had over 60 participants and 9 final test-set submissions. The best performances came from the use of DeBERTa for text and Swinv2 and CLIP for image. The highest F1 score averaged for all five classes was 81.82%.

研究の動機と目的

• テキスト的および視覚的証拠を用いた自動マルチモーダルフェイクニュース検出システムの開発と評価を目的とする。
• 共有タスクフレームワークを通じて、SNS上での誤情報拡散という増大する課題に取り組むことを目的とする。
• 事実検証および風刺検出を目的とした、5つのマルチモーダル関係クラスを有するベンチマークデータセットを提供することを目的とする。
• 異なるマルチモーダルアーキテクチャの性能を、誤りまたは風刺的な主張を検出する文脈で比較することを目的とする。

提案手法

• タスクはペアド入力形式を採用している：SNSの主張が、テキストと画像の両方を含む支援文書と照合される。
• テキスト特徴量は、自然言語理解のための最先端のトランスフォーマー・モデルであるDeBERTaを用いて符号化される。
• 画像特徴量は、視覚言語理解のための事前学習モデルであるSwinV2およびCLIPを用いて抽出される。
• マルチモーダル表現は統合され、主張が支援証拠と関係する5つのカテゴリのうちの1つに分類される。
• モデルは、60名以上の参加者から寄せられた9件の最終提出物を含む共有テストセットを用いて訓練および評価される。
• フレームワークは、比較に基づく事実検証を重視しており、マルチモーダル証拠を用いて真偽を評価する必要がある。

実験結果

リサーチクエスチョン

• RQ1 テキストと画像の両方の証拠が利用可能な状況下で、マルチモーダルモデルのフェイクニュース検出性能はどの程度か？
• RQ2 マルチモーダル事実検証タスクにおいて、SwinV2とCLIPといった異なる視覚エンコーダーの性能はどのように比較できるか？
• RQ3 DeBERTaは、事実検証の文脈において、テキスト的主張および支援文書をどの程度効果的に理解できるか？
• RQ4 マルチモーダル統合戦略は、多様な主張-証拠関係の分類精度にどのように影響を与えるか？
• RQ5 この新しいベンチマークにおけるマルチモーダルフェイクニュース検出の性能の上限はどの程度か？

主な発見

• 最良のモデルは、5つのマルチモーダル関係クラスすべてで平均F1スコア81.82%を達成した。
• DeBERTaは、事実検証の文脈において、テキスト的主張および支援文書を理解する上で優れた性能を示した。
• SwinV2およびCLIPモデルは、強固な視覚的表現を提供し、マルチモーダル統合性能に顕著な貢献をした。
• 共有タスクには60名以上の参加者が集まり、最終提出は9件にのぼり、マルチモーダル事実検証分野におけるコミュニティの関与が顕著に表れた。
• データセットおよび評価フレームワークは、今後のマルチモーダルフェイクニュース検出分野の研究に包括的なベンチマークを提供する。