[論文レビュー] FakeSV: A Multimodal Benchmark with Rich Social Context for Fake News Detection on Short Video Platforms

Peng Qi, Yuyan Bu+6 more|arXiv (Cornell University)|Nov 20, 2022

Misinformation and Its Impacts被引用数 6

ひとこと要約

本稿では、ニュースコンテンツ、ユーザーのコメント、発信者プロフィールを統合した、フェイクニュース検出のための中国語短時間動画ベンチマーク「FakeSV」を紹介する。本稿では、コアテンションと自己注意を活用して、クロスモダリティコンテンツとソーシャルコンテキスト特徴を統合するマルチモーダルモデル「SV-FEND」を提案し、時系列分割評価において81.05%の正確性を達成し、最先端の性能を発揮した。

ABSTRACT

Short video platforms have become an important channel for news sharing, but also a new breeding ground for fake news. To mitigate this problem, research of fake news video detection has recently received a lot of attention. Existing works face two roadblocks: the scarcity of comprehensive and largescale datasets and insufficient utilization of multimodal information. Therefore, in this paper, we construct the largest Chinese short video dataset about fake news named FakeSV, which includes news content, user comments, and publisher profiles simultaneously. To understand the characteristics of fake news videos, we conduct exploratory analysis of FakeSV from different perspectives. Moreover, we provide a new multimodal detection model named SV-FEND, which exploits the cross-modal correlations to select the most informative features and utilizes the social context information for detection. Extensive experiments evaluate the superiority of the proposed method and provide detailed comparisons of different methods and modalities for future works.

研究の動機と目的

• 短時間動画プラットフォームにおけるフェイクニュース検出のための、大規模かつ包括的なデータセットの不足に対処すること。
• 短時間動画プラットフォームにおける、マルチモーダルコンテンツ（テキスト、音声、映像）およびソーシャルコンテキスト（コメント、発信者プロフィール）が、フェイクニュースと本物のニュース動画を区別するのにおける役割を調査すること。
• 異種情報の効果的な統合を可能にする、フェイクニュース検出に耐性のあるマルチモーダル検出モデルを開発すること。
• フェイクニュース動画検出分野における公平な評価と今後の研究のためのベンチマークを提供すること。

提案手法

• 動画コンテンツ、ユーザーのコメント、発信者プロフィールを含む、大規模な中国語フェイクニュース短時間動画データセット「FakeSV」を構築する。
• テキスト、音声、視覚モダリティ間で最も情報量の多い特徴を特定することで、マルチモーダル表現を強化するためのコアテンション機構を採用する。
• コメントとユーザーのプロフィールといったソーシャルコンテキスト特徴を、マルチモーダルコンテンツ表現と統合するために自己注意を用いる。
• コンテンツとソーシャルコンテキストを統合的にモデル化することで検出性能を向上させる、統合的なマルチモーダルフレームワーク「SV-FEND」を設計する。
• モデルの汎化性能と将来のフェイクニュース検出に対する耐性を評価するために、時系列およびイベントベースのデータ分割を適用する。

実験結果

リサーチクエスチョン

• RQ1 短時間動画プラットフォームにおける、マルチモーダル信号（テキスト、音声、映像）およびソーシャルコンテキスト（コメント、ユーザーのプロフィール）は、フェイクニュース検出にどのように寄与するか？
• RQ2 フェイクニュース動画を特定するうえで、異なるモダリティおよびソーシャル信号の相対的な重要性は何か？
• RQ3 コンテンツとソーシャルコンテキストを統合する統合的マルチモーダルモデルは、単一モダリティまたは部分的マルチモーダルベースラインを上回る性能を発揮できるか？
• RQ4 提案されたモデルは、未観測の将来のフェイクニュースイベントに対しても汎化可能か？

主な発見

• SV-FENDは時系列分割評価において81.05%の正確性を達成し、既存のすべての手法、包括して最先端のベースラインを上回った。
• SV-FENDのすべてのモダリティが性能向上に寄与しており、特にニュースコンテンツがソーシャルコンテキストよりも検出に有効であることが判明した。
• タイトルとトランスクリプトの間、およびキーフレームと動画クリップの間で、補完的な情報が存在した。
• コメントは、データセットにおけるデータスパarsityのため、検出に最も寄与しなかった。
• 時系列分割ではイベント分割よりも性能がよかったため、将来的なイベントに対してより強い汎化性能を示した。これは、データに長期間にわたるフェイクニュース事象が存在するための可能性がある。
• 事例研究では、SV-FENDが改ざん動画を効果的に検出できたが、文脈的に誤解を招く内容については苦戦した。これは、事実確認の統合が今後の課題であることを示唆している。