[论文解读] Exposing Deep-faked Videos by Anomalous Co-motion Pattern Detection

Gengxing Wang, Jiahuan Zhou+1 more|arXiv (Cornell University)|Aug 11, 2020

Digital Media Forensic Detection参考文献 58被引用 19

一句话总结

本文提出了一种完全可解释的视频取证方法，通过分析异常的共运动模式（基于面部关键点轨迹推导出的二阶运动描述符）来检测深度伪造视频。通过建模面部各部件之间的局部运动一致性，该方法能够识别伪造视频中不自然的时间相关性，即使在压缩和低质量条件下，仍实现了分类和异常检测任务的最先进性能。

ABSTRACT

Recent deep learning based video synthesis approaches, in particular with applications that can forge identities such as "DeepFake", have raised great security concerns. Therefore, corresponding deep forensic methods are proposed to tackle this problem. However, existing methods are either based on unexplainable deep networks which greatly degrades the principal interpretability factor to media forensic, or rely on fragile image statistics such as noise pattern, which in real-world scenarios can be easily deteriorated by data compression. In this paper, we propose an fully-interpretable video forensic method that is designed specifically to expose deep-faked videos. To enhance generalizability on videos with various content, we model the temporal motion of multiple specific spatial locations in the videos to extract a robust and reliable representation, called Co-Motion Pattern. Such kind of conjoint pattern is mined across local motion features which is independent of the video contents so that the instance-wise variation can also be largely alleviated. More importantly, our proposed co-motion pattern possesses both superior interpretability and sufficient robustness against data compression for deep-faked videos. We conduct extensive experiments to empirically demonstrate the superiority and effectiveness of our approach under both classification and anomaly detection evaluation settings against the state-of-the-art deep forensic methods.

研究动机与目标

• 解决现有基于不可解释深度网络或脆弱图像统计量的深度伪造检测方法在可解释性和鲁棒性方面的不足。
• 克服现有方法在视频压缩和低分辨率条件下性能下降的局限性。
• 开发一种基于运动的取证方法，使其在多样化视频内容和伪造技术下具有泛化能力。
• 实现深度伪造视频识别的二元分类与异常检测，并提供明确且可解释的推理过程。
• 在保持高检测准确率的同时，确保对真实世界视频失真（如压缩和噪声）具有鲁棒性。

提出的方法

• 使用光流或关键点追踪技术，在连续视频帧中估计51个面部关键点位置的2D运动特征。
• 将运动特征按空间一致性分组（例如：眼睛、眉毛、嘴唇），以降低噪声并增强泛化能力。
• 通过计算分组后运动特征之间的成对皮尔逊相关系数，为每帧构建相关性矩阵（即共运动模式）。
• 根据分组性能对每帧的共运动模式进行加权，形成鲁棒且紧凑的视频级表征。
• 将加权后的共运动模式序列用作视频真实性的判别性描述符，用于分类或异常检测。
• 将共运动模式归一化至[0,1]以用于可视化，但在实验中保留原始尺度以实现最优判别性能。

实验结果

研究问题

• RQ1 能否设计一种基于运动的描述符，使其既具备可解释性，又对视频压缩和噪声具有鲁棒性？
• RQ2 共运动模式是否能有效捕捉在多样化视频内容中真实人类面部运动的自然运动一致性？
• RQ3 即使使用NeuralTextures或Face2Face等先进方法生成的伪造视频，共运动模式是否仍能有效检测？
• RQ4 该方法在不同伪造数据集和视频质量水平下的泛化能力如何？
• RQ5 共运动模式在多大程度上能揭示可解释的异常现象，例如上下唇之间负相关性的丧失？

主要发现

• 在跨数据集评估中，共运动模式在NeuralTextures数据集上达到了95.85%的准确率，表明其在不同伪造方法间具有强大的泛化能力。
• 当在FaceSwap上训练并在Face2Face上测试时，该方法仍保持84.95%的高准确率，表明其对不同伪造风格具有鲁棒性。
• 真实视频的平均共运动模式表现出一致的、按组件划分的运动相关性（例如：双眼同步运动），而伪造视频则无法保持此类模式。
• 自然言语运动中上下唇之间的负相关性——这一典型特征——在深度伪造视频中显著减弱或完全丧失，提供了清晰可解释的信号。
• 共运动模式在帧间快速收敛（如图8所示），证实了二阶运动描述符的稳定性和可靠性。
• 在压缩或低质量条件下，该方法在分类和异常检测任务中均优于最先进深度学习驱动的取证模型。