[论文解读] Deepfake Detection using Biological Features: A Survey

Kundan Patil, Shrushti Kale+2 more|arXiv (Cornell University)|Jan 14, 2023

Digital Media Forensic Detection被引用 5

一句话总结

本综述提出了一种利用生物特征（如眨眼、眉毛运动、耳部与口部动态、脉搏率）进行深度伪造检测的框架，结合LRCN、GANs及光电容积脉搏波描记法等分类器。结果表明，DeepFakesON-Phys在Face Forensics++数据集上较基线模型提升25.66%的准确率，在Celeb-DF数据集上EER达到20.7%，性能达到当前最先进水平。

ABSTRACT

Deepfake is a deep learning-based technique that makes it easy to change or modify images and videos. In investigations and court, visual evidence is commonly employed, but these pieces of evidence may now be suspect due to technological advancements in deepfake. Deepfakes have been used to blackmail individuals, plan terrorist attacks, disseminate false information, defame individuals, and foment political turmoil. This study describes the history of deepfake, its development and detection, and the challenges based on physiological measurements such as eyebrow recognition, eye blinking detection, eye movement detection, ear and mouth detection, and heartbeat detection. The study also proposes a scope in this field and compares the different biological features and their classifiers. Deepfakes are created using the generative adversarial network (GANs) model, and were once easy to detect by humans due to visible artifacts. However, as technology has advanced, deepfakes have become highly indistinguishable from natural images, making it important to review detection methods.

研究动机与目标

• 分析深度伪造技术的演进及其带来的社会风险，包括虚假信息传播、非自愿色情内容传播及政治操纵。
• 识别现有仅依赖像素级伪影检测方法的局限性，此类方法在生成对抗网络（GANs）持续进化以消除视觉异常后逐渐失效。
• 探究基于生物特征的检测方法在可靠性方面是否具备可行性与鲁棒性，作为传统像素域分析的更优替代方案。
• 评估生理与行为线索（如眨眼、脉搏率、面部肌肉运动）在深度伪造检测中作为真实性不变标记的潜力。
• 评估生物特征检测可能存在的漏洞，例如通过化妆或视频滤镜改变眉毛、眼轮廓等面部特征，从而绕过检测系统。

提出的方法

• 利用生成对抗网络（GANs）生成深度伪造视频，通过训练生成器生成逼真假视频，判别器验证其真实性。
• 应用生物特征提取技术：通过LRCN模型检测眨眼，利用LightCNN与ResNet分析眉毛运动，通过听觉与口腔分析检测耳部与口部动态，借助光电容积脉搏波描记法（PPG）与心电图（ECG）信号提取脉搏率。
• 采用帧级与视频级分析，检测生物节律与运动中的异常，如眨眼频率不一致或眼睑开合不自然。
• 整合对抗性网络（GANs）作为检测机制，识别重复或异常的眨眼模式，以偏离自然人类行为特征。
• 使用Celeb-DF、UADFV、Face Forensics++、UBIRIS与CASIA等基准数据集进行验证，通过跨数据集评估确保鲁棒性。
• 将多种生物特征整合至统一检测框架DeepFakesON-Phys中，以提升检测准确率并降低误报率。

实验结果

研究问题

• RQ1 眨眼、脉搏率与面部肌肉运动等生物特征能否作为区分真实与伪造视频的可靠指标？
• RQ2 LRCN、ResNet与自回归模型等不同分类器在检测生物信号中深度伪造伪影时表现如何？
• RQ3 先进基于GAN的深度伪造在多大程度上可规避传统像素级分析检测？生物特征是否能克服此局限？
• RQ4 可能存在的攻击向量有哪些，例如通过化妆或滤镜改变面部特征（如眉毛、眼轮廓）以绕过检测系统？
• RQ5 所提出的DeepFakesON-Phys框架在准确率与跨多样化数据集的泛化能力方面，相较于最先进检测方法表现如何？

主要发现

• 在与基线网络结合时，DeepFakesON-Phys在Face Forensics++数据集上的准确率较最先进方法提升25.66%。
• 在Celeb-DF数据集上，使用LightCNN与ResNet检测眉毛运动特征时，DeepFakesON-Phys的等错误率（EER）达到20.7%。
• 采用LRCN方法进行眨眼检测在基准数据集上表现优异，能有效识别具有异常眨眼模式的深度伪造视频。
• 在Face Forensics++数据集上，光电容积脉搏波描记法（PPG）结合自回归模型使脉搏率检测准确率较基线方法提升1.48%。
• 对64段公众人物（如乔·拜登、安格拉·默克尔）的YouTube视频进行动态听觉与口腔分析，成功捕捉到耳部与口部运动中的细微不一致。
• 研究发现一个关键漏洞：高质量视频滤镜与化妆可改变眉毛与细纹等面部特征，可能导致基于生物特征检测系统的误报。