[论文解读] AV-Lip-Sync+: Leveraging AV-HuBERT to Exploit Multimodal Inconsistency for Deepfake Detection of Frontal Face Videos

Sahibzada Adil Shahzad, Ammarah Hashmi+3 more|arXiv (Cornell University)|Nov 5, 2023

Digital Media Forensic Detection被引用 4

一句话总结

该论文提出 AV-Lip-Sync+，一种先进的音视频深度伪造检测模型，利用 AV-HuBERT 和 ViViT 提取的自监督音视频表征，检测语音与唇部动作之间的不一致性。通过结合多模态同步特征与时空面部伪影，该模型在 FakeAVCeleb 和 DeepfakeTIMIT 数据集上实现了新的 SOTA 性能，其在 DeepfakeTIMIT 数据集上的 AUC 分数分别达到 0.9998（HQ）和 0.9996（LQ）。

ABSTRACT

Multimodal manipulations (also known as audio-visual deepfakes) make it difficult for unimodal deepfake detectors to detect forgeries in multimedia content. To avoid the spread of false propaganda and fake news, timely detection is crucial. The damage to either modality (i.e., visual or audio) can only be discovered through multimodal models that can exploit both pieces of information simultaneously. However, previous methods mainly adopt unimodal video forensics and use supervised pre-training for forgery detection. This study proposes a new method based on a multimodal self-supervised-learning (SSL) feature extractor to exploit inconsistency between audio and visual modalities for multimodal video forgery detection. We use the transformer-based SSL pre-trained Audio-Visual HuBERT (AV-HuBERT) model as a visual and acoustic feature extractor and a multi-scale temporal convolutional neural network to capture the temporal correlation between the audio and visual modalities. Since AV-HuBERT only extracts visual features from the lip region, we also adopt another transformer-based video model to exploit facial features and capture spatial and temporal artifacts caused during the deepfake generation process. Experimental results show that our model outperforms all existing models and achieves new state-of-the-art performance on the FakeAVCeleb and DeepfakeTIMIT datasets.

研究动机与目标

• 为解决多模态深度伪造检测的挑战，即当音频和视觉模态均被篡改时，单模态检测器无法有效识别的问题。
• 利用音视频不一致性——特别是唇音不同步错误——作为正面人脸视频中深度伪造检测的特征签名。
• 通过结合自监督音视频表征与时空面部特征学习，提升对多种深度伪造生成技术的鲁棒性。
• 通过联合建模音视频一致性与面部伪影，超越现有 SOTA 模型在 FakeAVCeleb 和 DeepfakeTIMIT 等基准数据集上的表现。

提出的方法

• 该模型使用 AV-HuBERT 作为预训练的音视频自监督特征提取器，以捕捉语音与唇部动作之间的同步性。
• 采用多尺度时间卷积网络（TCN）建模音视频模态之间的时序相关性。
• 另使用一个独立的视觉Transformer（ViViT）提取唇部区域之外的时空面部特征，以增强对非唇部相关伪影的检测能力。
• 系统融合来自 AV-HuBERT（唇部级别）和 ViViT（全脸）的特征，联合建模音视频一致性与面部时空异常。
• 模型采用端到端微调或固定前端的训练方式，消融实验验证了各组件的贡献。
• 使用线性层对多模态特征进行投影与融合，再进行最终分类。

实验结果

研究问题

• RQ1 AV-HuBERT 提取的自监督音视频表征是否能有效检测深度伪造视频中的唇音不同步不一致性？
• RQ2 通过 ViViT 引入全脸面部特征，是否能在唇部区域被轻微篡改时提升检测性能？
• RQ3 所提出的音视频同步与时空面部伪影融合方法，相较于现有单模态与多模态深度伪造检测器，表现如何？
• RQ4 AV-Lip-Sync+ 在基准数据集上对多种深度伪造生成方法的泛化能力如何？

主要发现

• AV-Lip-Sync+ 在 DeepfakeTIMIT 数据集的高画质（HQ）版本上实现了 SOTA 的 AUC 0.9998，优于所有先前模型。
• 在 DeepfakeTIMIT 数据集的低画质（LQ）版本上，模型 AUC 达到 0.9996，表明其对视觉退化具有强鲁棒性。
• 采用特征提取器联合训练的模型（AV-Lip-Sync+ with FE）在 LQ 上 AUC 为 0.9996，在 HQ 上为 0.9998，表明其具备出色的泛化能力。
• 消融实验证实，固定前端并微调线性层的设置表现更优，表明特征适配有效。
• 在 FakeAVCeleb 数据集上，AV-Lip-Sync+ 实现了新的 SOTA 表现，所有评估设置下的 AUC 均超过 0.96。
• 引入 ViViT 进行全脸特征提取显著提升了检测性能，尤其在细微或非唇部区域被篡改的情况下。