[论文解读] FakeSV: A Multimodal Benchmark with Rich Social Context for Fake News Detection on Short Video Platforms

Peng Qi, Yuyan Bu+6 more|arXiv (Cornell University)|Nov 20, 2022

Misinformation and Its Impacts被引用 6

一句话总结

本文提出了 FakeSV，这是目前最大的中文短视频虚假新闻检测基准数据集，整合了新闻内容、用户评论和发布者资料。提出 SV-FEND 模型，通过联合注意力与自注意力机制融合跨模态内容与社交上下文特征，实现最先进的性能，在时间划分评估中达到 81.05% 的准确率。

ABSTRACT

Short video platforms have become an important channel for news sharing, but also a new breeding ground for fake news. To mitigate this problem, research of fake news video detection has recently received a lot of attention. Existing works face two roadblocks: the scarcity of comprehensive and largescale datasets and insufficient utilization of multimodal information. Therefore, in this paper, we construct the largest Chinese short video dataset about fake news named FakeSV, which includes news content, user comments, and publisher profiles simultaneously. To understand the characteristics of fake news videos, we conduct exploratory analysis of FakeSV from different perspectives. Moreover, we provide a new multimodal detection model named SV-FEND, which exploits the cross-modal correlations to select the most informative features and utilizes the social context information for detection. Extensive experiments evaluate the superiority of the proposed method and provide detailed comparisons of different methods and modalities for future works.

研究动机与目标

• 为解决短视频平台上虚假新闻检测缺乏大规模、综合性数据集的问题。
• 探究多模态内容（文本、音频、视频）与社交上下文（评论、用户资料）在区分虚假与真实新闻短视频中的作用。
• 开发一种鲁棒的多模态检测模型，有效融合异构信息以提升虚假新闻检测效果。
• 为虚假新闻短视频检测提供公平评估基准与未来研究支持。

提出的方法

• 构建 FakeSV，一个大规模中文虚假新闻短视频数据集，包含视频内容、用户评论与发布者资料。
• 采用协同注意力机制，通过识别文本、音频与视觉模态中最具信息量的特征，增强多模态表征。
• 利用自注意力机制，将社交上下文特征（评论与用户资料）与多模态内容表征进行融合。
• 设计 SV-FEND 作为统一的多模态框架，联合建模内容与社交上下文，以提升检测性能。
• 采用时间划分与事件划分的数据划分方式，评估模型的泛化能力与对未见未来虚假新闻事件的鲁棒性。

实验结果

研究问题

• RQ1 多模态信号（文本、音频、视频）与社交上下文（评论、用户资料）在短视频平台虚假新闻检测中的贡献如何？
• RQ2 不同模态与社交信号在识别虚假新闻视频中的相对重要性是什么？
• RQ3 能够融合内容与社交上下文的统一多模态模型是否优于单模态或部分多模态基线模型？
• RQ4 所提出的模型对未见的、未来的虚假新闻事件具有多强的泛化能力？

主要发现

• SV-FEND 在时间划分上达到 81.05% 的准确率，优于所有现有方法，包括 SOTA 基线模型。
• SV-FEND 中所有模态均对性能有贡献，其中新闻内容比社交上下文更具检测优势。
• 模态内部存在互补信息，例如标题与字幕之间、关键帧与视频片段之间。
• 评论对检测的贡献最小，可能由于数据集中评论存在稀疏性。
• 模型在时间划分上的表现优于事件划分，表明其对未见未来事件具有更强的泛化能力，可能由于数据中存在长期持续的虚假新闻事件。
• 案例研究显示，SV-FEND 能有效检测出被篡改的视频，但在处理语境误导性内容时表现较弱，凸显了整合事实核查机制的必要性。