[论文解读] DeepFakesON-Phys: DeepFakes Detection based on Heart Rate Estimation

Javier Hernandez‐Ortega, Rubén Tolosana+2 more|arXiv (Cornell University)|Oct 1, 2020

Non-Invasive Vital Sign Monitoring参考文献 38被引用 57

一句话总结

DeepFakesON-Phys 通过使用卷积注意力网络从面部视频估计与心率相关的生理信号来检测 DeepFakes，在 Celeb-DF v2 和 DFDC Preview 上实现了最先进的 AUC。

ABSTRACT

This work introduces a novel DeepFake detection framework based on physiological measurement. In particular, we consider information related to the heart rate using remote photoplethysmography (rPPG). rPPG methods analyze video sequences looking for subtle color changes in the human skin, revealing the presence of human blood under the tissues. In this work we investigate to what extent rPPG is useful for the detection of DeepFake videos. The proposed fake detector named DeepFakesON-Phys uses a Convolutional Attention Network (CAN), which extracts spatial and temporal information from video frames, analyzing and combining both sources to better detect fake videos. This detection approach has been experimentally evaluated using the latest public databases in the field: Celeb-DF and DFDC. The results achieved, above 98% AUC (Area Under the Curve) on both databases, outperform the state of the art and prove the success of fake detectors based on physiological measurement to detect the latest DeepFake videos.

研究动机与目标

• 促使使用生理测量，特别是心率，来检测 DeepFakes。
• 开发一个将心率估计知识迁移到检测的 DeepFake 检测器。
• 在 CAN 架构中利用基于 rPPG 的特征以提高对视觉伪影的鲁棒性。

提出的方法

• 将检测器基于 DeepPhys，改造以用于分类而非心率估计。
• 用用于心率估计的预训练权重进行初始化，仅微调最后几层。
• 双分支卷积注意力网络（运动模型与外观模型）通过注意力掩码共享信息。
• 用用于逐帧实时检测的 sigmoid 分类替换原始回归输出，用于真实/伪造检测。
• 对帧进行轻量归一化预处理，并为运动模型使用帧差输入。

实验结果

研究问题

• RQ1 能否将用于心率估计的基于 rPPG 的特征重新用于检测 DeepFakes？
• RQ2 CAN 架构是否能够有效融合用于生理信号检测的时空线索？
• RQ3 所提出的方法对未见过的 DeepFake 数据库（Celeb-DF v2 和 DFDC Preview）的泛化能力如何？

主要发现

• DeepFakesON-Phys 在 Celeb-DF v2 上实现 AUC 99.9%，在 DFDC Preview 上实现 98.2%。
• 在 Celeb-DF v2 上准确率为 98.7%，在 DFDC Preview 上为 94.4%。
• 检测器在卷积层冻结、从心率估计模型初始化的权重开始训练，且仅训练最终层。
• 该方法优于基于 Face Warping、LCN/mesoscopic 特征和纯深度学习特征的最新检测器。
• 该方法表明当前的 DeepFakes 在合成时并未利用与心率相关的生理信息。