[论文解读] Exploiting Human Social Cognition for the Detection of Fake and Fraudulent Faces via Memory Networks

Tharindu Fernando, Clinton Fookes+2 more|arXiv (Cornell University)|Nov 17, 2019

Digital Media Forensic Detection参考文献 70被引用 11

一句话总结

本文提出了一种分层记忆网络（HMN），通过预测未来语义嵌入并强制与真实面部动态保持一致，利用人类社会认知来检测虚假和欺诈性人脸。该模型通过一种新颖的记忆架构和对抗性学习，在未见过的篡改类型上实现了最先进的一般化性能，优于现有方法，在检测深度伪造和合成人脸方面表现更优。

ABSTRACT

Advances in computer vision have brought us to the point where we have the ability to synthesise realistic fake content. Such approaches are seen as a source of disinformation and mistrust, and pose serious concerns to governments around the world. Convolutional Neural Networks (CNNs) demonstrate encouraging results when detecting fake images that arise from the specific type of manipulation they are trained on. However, this success has not transitioned to unseen manipulation types, resulting in a significant gap in the line-of-defense. We propose a Hierarchical Memory Network (HMN) architecture, which is able to successfully detect faked faces by utilising knowledge stored in neural memories as well as visual cues to reason about the perceived face and anticipate its future semantic embeddings. This renders a generalisable face tampering detection framework. Experimental results demonstrate the proposed approach achieves superior performance for fake and fraudulent face detection compared to the state-of-the-art.

研究动机与目标

• 解决虚假人脸检测模型在未见篡改类型上泛化能力不足的关键问题。
• 提升在图像和视频中检测深度伪造和欺诈性人脸的鲁棒性，尤其是在压缩和画质退化条件下的表现。
• 通过预测人脸的未来语义嵌入，建模人类社会认知过程——例如从面部线索推断心理状态。
• 开发一种记忆架构，在保留真实人脸身份和语义完整性的同时检测虚假人脸中的不一致性。
• 克服现有神经记忆网络（如NTM、TMN）在建模长期依赖关系和保留人脸特定属性方面的局限性。

提出的方法

• 模型使用预训练的ResNet从输入图像中提取初始面部语义嵌入。
• 这些嵌入通过双向GRU处理，以建模序列关系和时间上下文。
• 在查询分层记忆模块前，应用输入级注意力聚焦于显著的面部特征。
• 分层记忆网络采用多级注意力（输入、块、输出）提取并合成相关信息，同时保留存储嵌入的身份信息。
• 提出一种新颖的记忆更新机制，直接将编码的人脸嵌入连接到记忆中，避免部分或混合更新导致的面部属性失真。
• 采用对抗性学习框架，联合训练判别器以区分真实与合成的未来嵌入，以及生成器以欺骗判别器，结合损失函数实现虚假检测与未来预测的联合优化。

实验结果

研究问题

• RQ1 建模类人社会认知——特别是对未来的面部状态进行预测——是否能提升对虚假和欺诈性人脸的检测能力？
• RQ2 如何设计神经记忆架构，以在检测合成伪影的同时，保留真实人脸的身份和语义完整性？
• RQ3 分层注意力与记忆组织在多大程度上提升了对未见人脸篡改技术的泛化能力？
• RQ4 联合损失函数在虚假检测与未来嵌入预测上的对抗性学习，是否优于标准监督损失函数？
• RQ5 现有记忆网络（如NTM、TMN）在架构上的局限性在多大程度上阻碍了有效的人脸伪造检测？HMN如何克服这些局限？

主要发现

• 所提出的HMN在多个基准上实现了虚假和欺诈性人脸检测的最先进性能，优于现有方法。
• 该模型能有效泛化到未见过的篡改类型，表现出超越其训练数据中特定伪影的鲁棒性。
• 分层注意力机制实现了对相关面部属性更准确的检索，同时在记忆中保持了身份一致性。
• 对抗性学习框架成功学习到一种联合损失函数，同时提升了虚假检测与未来语义嵌入预测的性能。
• HMN中的记忆更新机制避免了不同身份之间面部属性的混合，而NTM和TMN则存在此类问题，从而增强了对合成人脸伪影的检测能力。
• 可视化结果证实，记忆模块以符合人类对面部连续性和社会存在的感知方式，检索并推理存储的面部事实。