[论文解读] AVTENet: A Human-Cognition-Inspired Audio-Visual Transformer-Based Ensemble Network for Video Deepfake Detection

Ammarah Hashmi, Sahibzada Adil Shahzad+3 more|arXiv (Cornell University)|Oct 19, 2023

Digital Media Forensic Detection被引用 5

一句话总结

该论文提出AVTENet，一种基于音视频Transformer的集成网络，通过并行分析视觉、音频及音视频联合线索，利用多个纯Transformer模型检测深度伪造视频。其在FakeAVCeleb Testset-II上实现了99%的准确率，达到当前最先进水平，显著优于现有的单模态、多模态及集成方法，通过集成学习有效融合各模态特异性表征，实现性能突破。

ABSTRACT

The recent proliferation of hyper-realistic deepfake videos has drawn attention to the threat of audio and visual forgeries. Most previous studies on detecting artificial intelligence-generated fake videos only utilize visual modality or audio modality. While some methods exploit audio and visual modalities to detect forged videos, they have not been comprehensively evaluated on multimodal datasets of deepfake videos involving acoustic and visual manipulations, and are mostly based on convolutional neural networks with low detection accuracy. Considering that human cognition instinctively integrates multisensory information including audio and visual cues to perceive and interpret content and the success of transformer in various fields, this study introduces the audio-visual transformer-based ensemble network (AVTENet). This innovative framework tackles the complexities of deepfake technology by integrating both acoustic and visual manipulations to enhance the accuracy of video forgery detection. Specifically, the proposed model integrates several purely transformer-based variants that capture video, audio, and audio-visual salient cues to reach a consensus in prediction. For evaluation, we use the recently released benchmark multimodal audio-video FakeAVCeleb dataset. For a detailed analysis, we evaluate AVTENet, its variants, and several existing methods on multiple test sets of the FakeAVCeleb dataset. Experimental results show that the proposed model outperforms all existing methods and achieves state-of-the-art performance on Testset-I and Testset-II of the FakeAVCeleb dataset. We also compare AVTENet against humans in detecting video forgery. The results show that AVTENet significantly outperforms humans.

研究动机与目标

• 为应对日益严重的高保真音视频深度伪造威胁，此类伪造可同时操控视频中的人脸与语音。
• 克服现有单模态深度伪造检测方法在检测跨模态伪造时的局限性。
• 开发一种多模态、基于Transformer的集成框架，能够同时检测视觉与声学伪造。
• 在包含音频与视频流中多样化伪造技术的综合性基准数据集上评估模型性能。
• 构建一种可扩展、兼容自监督学习的架构，以支持未来深度伪造检测研究。

提出的方法

• 该框架整合了三种不同的基于Transformer的模型：基于AST的音频专用模型（AST-based AN）、基于ViViT的视频专用模型（ViViT-based VN），以及基于AV-HuBERT的音视频融合模型（AV-HuBERT-based AVN），用于提取模态特异性表征。
• 各组件模型均在大规模自监督数据集上进行预训练，以捕捉音频与视频流中的判别性时空与频谱特征。
• 集成策略通过早期融合与共识投票方式结合三个模型的预测结果，以提升鲁棒性与检测准确率。
• AVN组件使用AV-HuBERT提取联合音视频嵌入，但作者指出其性能欠佳，原因在于对唇部区域以外的视觉上下文捕捉能力有限。
• 模型在包含多种深度伪造技术（如人脸替换、fsgan与RTVC）的FakeAVCeleb数据集上进行训练与评估。
• 通过超参数调优与消融研究，分析各组件的贡献并优化集成性能。

Figure 1: An example of audio-visual deepfakes. Cyber-attackers aim to create convincing counterfeit videos by manipulating audio and visual streams. Sharing such malicious content can have harmful consequences. Therefore, our proposed method exploits manipulations in both audio and visual streams t

实验结果

研究问题

• RQ1 多模态Transformer集成模型是否能在复杂的真实世界音视频深度伪造数据集上超越现有单模态与多模态深度伪造检测方法？
• RQ2 与基于CNN的基线模型相比，纯Transformer模型在音频、视频及音视频融合任务中的集成如何提升检测准确率？
• RQ3 不同预训练模型（如AST、ViViT、AV-HuBERT）在检测各类音视频伪造（如人脸替换与语音克隆）中的贡献程度如何？
• RQ4 为何基于AV-HuBERT的AVN组件在视觉伪造视频上表现欠佳？该问题可如何缓解？
• RQ5 由专用Transformer模型组成的集成模型是否能实现对多样化深度伪造生成技术的优越泛化能力与鲁棒性？

主要发现

• AVTENet在FakeAVCeleb数据集Testset-II上实现了99%的最先进检测准确率，显著优于现有方法。
• 该模型在相同基准上超越所有基线单模态与多模态方法，包括VGG16（81%）、Xception（76%）与Lip Forensics（76%）。
• 由AST、ViViT与AV-HuBERT组件构成的集成模型（AVTENet_ff）达到最高性能，证明了多专家学习的有效性。
• 基于AV-HuBERT的AVN组件在视觉伪造视频（如faceswap）上表现欠佳，因其未能捕捉唇部区域以外的视觉线索。
• 在AVN组件中用AST与ViViT替换AV-HuBERT导致性能下降，表明融合模型中存在冗余且缺乏互补信息。
• 消融研究证实，集成策略显著提升了对多样化伪造类型（包括仅音频与仅视觉伪造）的鲁棒性与泛化能力。

Figure 2: Illustrations of the audio and visual streams of some samples selected from the FakeAVCeleb Dataset, where real streams are indicated in green, and fake ones are indicated in red.