[论文解读] Improving the Efficiency and Robustness of Deepfakes Detection through Precise Geometric Features

Zekun Sun, Yujie Han+3 more|arXiv (Cornell University)|Apr 9, 2021

Digital Media Forensic Detection参考文献 18被引用 10

一句话总结

该论文提出LRNet，一种轻量化且鲁棒的深度伪造检测框架，通过利用精确的几何特征——特别是校准的面部关键点——并结合双流循环神经网络（RNN）来建模深度伪造视频中的时间不一致性。通过引入一种新型校准模块提升关键点精度，并利用时间动态特性，LRNet在FaceForenscics++上实现了0.999 AUC的性能，且在高度压缩的视频上仍保持强劲表现（仅下降-0.042 AUC），在效率和鲁棒性方面优于现有方法。

ABSTRACT

Deepfakes is a branch of malicious techniques that transplant a target face to the original one in videos, resulting in serious problems such as infringement of copyright, confusion of information, or even public panic. Previous efforts for Deepfakes videos detection mainly focused on appearance features, which have a risk of being bypassed by sophisticated manipulation, also resulting in high model complexity and sensitiveness to noise. Besides, how to mine the temporal features of manipulated videos and exploit them is still an open question. We propose an efficient and robust framework named LRNet for detecting Deepfakes videos through temporal modeling on precise geometric features. A novel calibration module is devised to enhance the precision of geometric features, making it more discriminative, and a two-stream Recurrent Neural Network (RNN) is constructed for sufficient exploitation of temporal features. Compared to previous methods, our proposed method is lighter-weighted and easier to train. Moreover, our method has shown robustness in detecting highly compressed or noise corrupted videos. Our model achieved 0.999 AUC on FaceForensics++ dataset. Meanwhile, it has a graceful decline in performance (-0.042 AUC) when faced with highly compressed videos.

研究动机与目标

• 解决基于外观的深度伪造检测方法的局限性，这些方法对噪声敏感且模型复杂度高。
• 提升在真实场景中视频被压缩或损坏情况下的鲁棒性。
• 在保持高检测准确率的同时降低模型复杂度和训练成本。
• 通过精确的几何特征挖掘深度伪造视频中的时间不一致性。
• 为真实世界应用开发一种轻量化、高效且可泛化的检测框架。

提出的方法

• 引入一种新型关键点校准模块，以减少抖动并提高面部关键点检测的精度，从而增强特征的可区分性。
• 框架采用双流RNN：一个用于检测异常面部运动（g₁），另一个用于识别时间不连续性（g₂），实现互补的时间建模。
• 使用几何特征——特别是面部关键点坐标——作为输入，而非原始图像像素，从而降低维度并提高对噪声和压缩的鲁棒性。
• 模型在校准后的关键点序列上进行端到端训练，输入长度经过调优以平衡有效性和鲁棒性。
• 在校准模块中应用卡尔曼滤波器，以平滑关键点轨迹并减少检测误差带来的噪声。
• 在FaceForensics++数据集上对框架进行评估，涵盖原始视频和压缩视频等多种条件。

Figure 1: Action units (AU) intensity analysis for pristine and Deepfakes video sequence. AU indicate movements of individual facial muscles that make up the facial expression. We select the two most intense action units: #7 (lid tightener) and #17 (chin raiser). As we can see, although the fake seq

实验结果

研究问题

• RQ1 与基于外观的方法相比，精确的几何特征（特别是校准的面部关键点）是否能提升深度伪造检测的鲁棒性和效率？
• RQ2 通过RNN实现的时间建模如何增强对视频序列中细微深度伪造痕迹的检测能力？
• RQ3 所提出的校准模块在多大程度上减轻了噪声或不精确的关键点检测器对检测性能的影响？
• RQ4 输入序列长度在多大程度上影响模型在不同视频质量条件下的泛化能力和鲁棒性？
• RQ5 一种轻量级基于几何特征的模型是否能在不依赖大型深度卷积神经网络或数据增强的情况下实现高性能？

主要发现

• LRNet仅使用几何特征就在FaceForensics++数据集上实现了0.999 AUC的得分，证明了其高检测精度。
• 当在高度压缩的视频（c40）上测试时，该模型仅出现-0.042 AUC的性能下降，表现出优异的鲁棒性。
• 消融实验确认，校准模块显著提升了性能，尤其在使用不同检测器生成的关键点时，性能下降更小。
• 双流RNN架构优于单流变体，其中g₂（时间不连续性检测）对准确率贡献更大，而g₁（异常运动检测）增强了鲁棒性。
• 60帧的输入长度被发现能在不同数据分布下最优平衡有效性和鲁棒性，尤其在压缩条件下表现更优。
• 即使在不重新训练的情况下，仅使用其他检测器（OpenFace）生成的关键点，只要应用校准模块，该框架仍能保持高性能。

Figure 2: Comparison between accuracy and precision. Red landmarks (upper) are accurate but not precise. They jitter greatly even though they all attach to the contour. Green points (lower) are less accurate but precise, which describe dynamic properties better.