[论文解读] MINTIME: Multi-Identity Size-Invariant Video Deepfake Detection

Davide Alessandro Coccomini, Giorgos Kordopatis Zilos+5 more|arXiv (Cornell University)|Nov 20, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

MINTIME 提出了一种视频深度伪造检测模型，通过使用改进的 TimeSformer 并引入身份感知注意力机制与新型嵌入表示，能够在单次前向传播中检测跨多个身份及不同人脸尺寸的时空异常。该方法在性能上达到当前最先进水平，在多人群视频的 ForgeryNet 数据集上 AUC 提升最高达 14%，并在跨伪造类型与跨数据集设置下展现出强大的泛化能力。

ABSTRACT

In this paper, we introduce MINTIME, a video deepfake detection approach that captures spatial and temporal anomalies and handles instances of multiple people in the same video and variations in face sizes. Previous approaches disregard such information either by using simple a-posteriori aggregation schemes, i.e., average or max operation, or using only one identity for the inference, i.e., the largest one. On the contrary, the proposed approach builds on a Spatio-Temporal TimeSformer combined with a Convolutional Neural Network backbone to capture spatio-temporal anomalies from the face sequences of multiple identities depicted in a video. This is achieved through an Identity-aware Attention mechanism that attends to each face sequence independently based on a masking operation and facilitates video-level aggregation. In addition, two novel embeddings are employed: (i) the Temporal Coherent Positional Embedding that encodes each face sequence's temporal information and (ii) the Size Embedding that encodes the size of the faces as a ratio to the video frame size. These extensions allow our system to adapt particularly well in the wild by learning how to aggregate information of multiple identities, which is usually disregarded by other methods in the literature. It achieves state-of-the-art results on the ForgeryNet dataset with an improvement of up to 14% AUC in videos containing multiple people and demonstrates ample generalization capabilities in cross-forgery and cross-dataset settings. The code is publicly available at https://github.com/davide-coccomini/MINTIME-Multi-Identity-size-iNvariant-TIMEsformer-for-Video-Deepfake-Detection.

研究动机与目标

• 解决现有深度伪造检测方法在处理多身份与可变人脸尺寸视频时的不足。
• 克服逐帧分类与简单聚合方法（如平均或最大值聚合）在多人场景下性能下降的局限性。
• 通过保留跨身份的空间与时间上下文信息，提升模型在真实世界‘野外’场景下的检测鲁棒性。
• 通过注意力机制实现对伪造人脸与时间戳的细粒度定位，支持可解释性检测。
• 通过在多样化数据上进行端到端训练，提升模型在未见伪造技术与数据集上的泛化能力。

提出的方法

• 引入一种改进的 TimeSformer 主干网络，采用身份感知自注意力机制，通过掩码技术独立处理每个身份的人脸序列，防止跨身份注意力干扰。
• 采用时间一致的位置嵌入（Temporal Coherent Positional Embedding），编码每个身份序列内的时序动态，保持时间一致性。
• 引入尺寸嵌入（Size Embedding），编码人脸区域面积与视频帧尺寸的比值，实现对尺寸变化的不变性表示学习。
• 通过单次前向传播同时处理所有身份，避免后处理聚合，降低推理开销。
• 在聚合的序列表示上应用可学习的视频级分类头，实现端到端预测。
• 在 ForgeryNet 数据集上进行端到端训练，使模型能够泛化至多样化的伪造方法与数据集。

实验结果

研究问题

• RQ1 深度伪造检测模型是否能在不依赖预测后处理聚合的情况下，有效检测包含多个身份的视频中的异常？
• RQ2 将人脸尺寸编码为相对于帧尺寸的相对比值，如何提升模型在真实场景下的检测鲁棒性？
• RQ3 在一种伪造数据集上训练的模型，能在多大程度上泛化到未见过的伪造技术与数据集？
• RQ4 注意力机制是否可用于定位视频中被篡改的人脸与时间点，从而实现可解释的预测？
• RQ5 通过统一架构同时实现时间与空间异常检测，是否优于逐帧分类结合简单聚合的方法？

主要发现

• 与先前最先进方法相比，MINTIME 在多身份视频的 ForgeryNet 数据集上 AUC 提升最高达 14%。
• 模型展现出强大的跨伪造类型泛化能力，在未见过的伪造技术（如 DFDC 数据集中的伪造）上仍保持高性能。
• 在 DFDC Preview 测试集上，MINTIME-XC 达到 77.92% 的 AUC，优于在 FaceForensics++ 上训练的模型，尽管其训练数据集不同。
• 定性分析表明，注意力图能成功定位伪造人脸与异常时间区间，实现可解释性检测。
• 模型在复杂场景（如人群场景与衣物等误检人脸）中表现稳健，能准确识别被篡改的个体。
• 身份感知注意力与尺寸感知嵌入的引入，显著提升了在人脸尺寸与身份数量多变的野外场景下的性能。