[论文解读] Exploring Spatial-Temporal Features for Deepfake Detection and Localization

Wu Haiwei, Jiantao Zhou+2 more|arXiv (Cornell University)|Oct 28, 2022

Digital Media Forensic Detection被引用 7

一句话总结

本文提出ST-DDL，一种时空深度伪造检测与定位网络，采用新颖的锚点-网格运动（Anchor-Mesh Motion, AMM）算法提取精确的面部微表情运动特征，并通过基于Transformer的融合注意力（Fusion Attention, FA）模块将这些特征与空间特征融合。该方法在视频级和像素级检测任务中均达到最先进性能，在新公开数据集上AUC达97.7%，并展现出对OSN传输影响的强鲁棒性。

ABSTRACT

With the continuous research on Deepfake forensics, recent studies have attempted to provide the fine-grained localization of forgeries, in addition to the coarse classification at the video-level. However, the detection and localization performance of existing Deepfake forensic methods still have plenty of room for further improvement. In this work, we propose a Spatial-Temporal Deepfake Detection and Localization (ST-DDL) network that simultaneously explores spatial and temporal features for detecting and localizing forged regions. Specifically, we design a new Anchor-Mesh Motion (AMM) algorithm to extract temporal (motion) features by modeling the precise geometric movements of the facial micro-expression. Compared with traditional motion extraction methods (e.g., optical flow) designed to simulate large-moving objects, our proposed AMM could better capture the small-displacement facial features. The temporal features and the spatial features are then fused in a Fusion Attention (FA) module based on a Transformer architecture for the eventual Deepfake forensic tasks. The superiority of our ST-DDL network is verified by experimental comparisons with several state-of-the-art competitors, in terms of both video- and pixel-level detection and localization performance. Furthermore, to impel the future development of Deepfake forensics, we build a public forgery dataset consisting of 6000 videos, with many new features such as using widely-used commercial software (e.g., After Effects) for the production, providing online social networks transmitted versions, and splicing multi-source videos. The source code and dataset are available at https://github.com/HighwayWu/ST-DDL.

研究动机与目标

• 通过联合建模空间与时间取证线索，提升深度伪造检测与定位性能。
• 解决现有运动估计算法在捕捉深度伪造视频中细微面部微表情方面的局限性。
• 开发一种在真实世界OSN传输条件下仍能保持性能的鲁棒取证系统。
• 通过发布一个包含真实、社会传播型深度伪造视频的新型多样化公开伪造数据集，推动该领域发展。

提出的方法

• 提出一种锚点-网格运动（Anchor-Mesh Motion, AMM）算法，通过将面部关键点作为锚点并估计相邻帧之间的几何映射来建模面部运动。
• 采用基于网格的系统，比传统光流或RAFT等深度学习运动估计算法更准确地捕捉微小位移的面部运动。
• 提出一种基于Transformer架构的融合注意力（Fusion Attention, FA）模块，通过动态关注并融合空间与时间特征，提升判别能力。
• 采用双分支编码器结构：一个用于RGB空间特征，一个用于AMM生成的运动特征，通过FA模块实现特征融合。
• 采用交叉熵损失和基于IoU的损失函数，端到端联合训练ST-DDL网络，以同时优化分类与定位任务。
• 构建了一个新型公开数据集ManualFake，包含6,000个视频，使用商业工具（如After Effects）生成，涵盖OSN传输版本及多源拼接内容。

实验结果

研究问题

• RQ1 是否一种专为面部微表情设计的运动估计算法，能在深度伪造取证中超越通用光流方法？
• RQ2 通过自注意力机制融合空间与时间特征，在细粒度伪造定位任务中效果如何？
• RQ3 当深度伪造视频经由Facebook和WhatsApp等有损OSN传播时，所提方法的性能保持程度如何？
• RQ4 一个包含社会传播与多源伪造视频的新型真实数据集，是否能更有效地评估取证模型的鲁棒性？

主要发现

• ST-DDL模型在像素级定位任务中达到97.7%的AUC，显著优于新ManualFake数据集上的最先进方法。
• AMM算法生成的运动特征比RAFT或Farneback更具判别性，相比RAFT提升6.8% AUC，相比简单拼接基线平均提升3.1%。
• 融合注意力（FA）模块相比简单卷积拼接，平均提升3.1%性能，证明其在特征交互中的有效性。
• 模型在OSN传输视频上保持强鲁棒性，其中WhatsApp因码率更高、有损操作更少，表现最佳。
• 消融实验证实，通过FA模块融合空间与时间特征可获得最佳性能，仅使用RGB或仅使用运动特征的变体表现均较差。
• 新构建的ManualFake数据集，包含商业软件生成及OSN传播的视频，使取证模型的评估更加真实可信。