[论文解读] Do You Really Mean That? Content Driven Audio-Visual Deepfake Dataset and Multimodal Method for Temporal Forgery Localization

Zhixi Cai, Kalin Stefanov+2 more|arXiv (Cornell University)|Apr 13, 2022

Digital Media Forensic Detection被引用 4

一句话总结

本文提出LAV-DF数据集，这是一个大规模的音视频深度伪造数据集，其内容驱动的篡改操作可改变情感极性，同时提出一种多模态3D卷积神经网络方法——边界感知时间伪造检测（BA-TFD），通过对比损失、边界匹配损失和帧分类损失实现伪造片段的精确定位。该方法在时间伪造定位任务中达到最先进性能，在所提数据集上取得76.90 AP@0.5和66.90 AR@100的指标。

ABSTRACT

Due to its high societal impact, deepfake detection is getting active attention in the computer vision community. Most deepfake detection methods rely on identity, facial attributes, and adversarial perturbation-based spatio-temporal modifications at the whole video or random locations while keeping the meaning of the content intact. However, a sophisticated deepfake may contain only a small segment of video/audio manipulation, through which the meaning of the content can be, for example, completely inverted from a sentiment perspective. We introduce a content-driven audio-visual deepfake dataset, termed Localized Audio Visual DeepFake (LAV-DF), explicitly designed for the task of learning temporal forgery localization. Specifically, the content-driven audio-visual manipulations are performed strategically to change the sentiment polarity of the whole video. Our baseline method for benchmarking the proposed dataset is a 3DCNN model, termed as Boundary Aware Temporal Forgery Detection (BA-TFD), which is guided via contrastive, boundary matching, and frame classification loss functions. Our extensive quantitative and qualitative analysis demonstrates the proposed method's strong performance for temporal forgery localization and deepfake detection tasks.

研究动机与目标

• 为填补现有深度伪造检测数据集的空白，这些数据集假设为全视频篡改，本研究构建一个聚焦于内容驱动、情感改变型篡改的数据集。
• 开发一种能够精确定位短时、战略性放置的伪造片段的方法，这些片段可反转真实视频的含义。
• 通过提供大规模、逼真的带标注篡改内容边界的音视频数据集，推动时间伪造定位研究的发展。
• 证明音视频信号的多模态融合显著优于单模态方法，可提升定位准确率。

提出的方法

• LAV-DF数据集通过在内容驱动的音视频重演中应用篡改，改变情感极性（例如，将“安全”改为“危险”），同时保持身份一致性和自然性。
• 所提出的BA-TFD模型采用3D CNN主干网络，并包含三种损失组件：对比损失用于特征对齐，边界匹配损失用于精确预测伪造片段边界，帧分类损失用于逐帧伪造检测。
• 模型在LAV-DF数据集上端到端训练，通过帧级和片段级标签的联合监督，提升定位准确率。
• 多模态融合通过在3D卷积层之前早期拼接音频和视频特征实现，支持音视频线索的联合建模。
• 采用标准指标评估方法：AP@0.5和AR@100用于时间定位，AUC用于分类任务。

Figure 1 : Content-driven audio-visual manipulation. On the left is a real video with the subject saying “Vaccinations are safe”. On the right is an audio-visual deepfake created from the real video based on the change in perceived sentiment where “safe” is changed to “dangerous”. Green-edge and red

实验结果

研究问题

• RQ1 深度伪造检测方法能否有效定位短时、内容改变型篡改，实现情感反转而不影响视频其余部分？
• RQ2 与单模态方法相比，音视频多模态融合在时间伪造定位中的性能提升程度如何？
• RQ3 对比损失、边界匹配损失和帧分类损失在模型定位性能中的贡献程度如何？
• RQ4 在内容驱动数据集上进行训练，相较于随机或全视频篡改的数据集，是否能提升模型的泛化能力？

主要发现

• 所提出的BA-TFD方法在完整LAV-DF数据集上取得76.90 AP@0.5和66.90 AR@100的性能，优于当前最先进方法在时间伪造定位任务中的表现。
• 单模态视觉版本的AP@0.5为58.55，而多模态版本提升至76.90 AP@0.5，证明音视频融合具有显著优势。
• 在数据集的一个子集上，单模态AP@0.5从58.55提升至83.55，表明在本研究提出的数据集上训练可显著增强模型泛化能力。
• 消融实验表明，帧分类损失对性能贡献最大，其次为边界匹配损失和对比损失。
• 在深度伪造分类任务中，该方法取得0.990 AUC，优于F3Net（0.520）和MDS（0.828），尽管未使用分类损失进行训练。

Figure 2 : Generation pipeline of the proposed dataset . The green-edge audio and video frames are the real data, and the red-edge audio and video frames are the generated fake data. The real audio-based transcript is used to decide the location and content to be replaced based on the largest change