[论文解读] Diffusion-Driven Deceptive Patches: Adversarial Manipulation and Forensic Detection in Facial Identity Verification

Shahrzad Sayyafzadeh, Hongmei Chi+1 more|arXiv (Cornell University)|Jan 14, 2026

Adversarial Robustness in Machine Learning被引用 0

一句话总结

该论文提出了一个端到端的工作流，用于生成和改良基于扩散的对抗性贴片，以欺骗面部身份验证，同时结合感知哈希、SSIM、分割和神经激活映射等方法进行取证检测。它还探讨了通过反向扩散实现对抗性净化。

ABSTRACT

This work presents an end-to-end pipeline for generating, refining, and evaluating adversarial patches to compromise facial biometric systems, with applications in forensic analysis and security testing. We utilize FGSM to generate adversarial noise targeting an identity classifier and employ a diffusion model with reverse diffusion to enhance imperceptibility through Gaussian smoothing and adaptive brightness correction, thereby facilitating synthetic adversarial patch evasion. The refined patch is applied to facial images to test its ability to evade recognition systems while maintaining natural visual characteristics. A Vision Transformer (ViT)-GPT2 model generates captions to provide a semantic description of a person's identity for adversarial images, supporting forensic interpretation and documentation for identity evasion and recognition attacks. The pipeline evaluates changes in identity classification, captioning results, and vulnerabilities in facial identity verification and expression recognition under adversarial conditions. We further demonstrate effective detection and analysis of adversarial patches and adversarial samples using perceptual hashing and segmentation, achieving an SSIM of 0.95.

研究动机与目标

• 研究扩散性对抗贴片如何欺骗面部身份验证系统的可行性。
• 开发一个管线，对贴片进行改进以在保持对抗效果的同时实现感知不可觉。
• 将取证分析整合，以检测并定位 manipulated 面部图像中的对抗贴片。
• 通过反向扩散探索对抗性净化，以保护生物识别与情感识别系统。

提出的方法

• 通过 FGSM 针对身份分类器生成对抗噪声。
• 利用扩散降噪和高斯平滑对贴片进行改进以实现不可感知性。
• 将贴片应用于人脸图像并评估身份嵌入和字幕的变化。
• 使用 ViT-GPT2 进行字幕生成，以评估攻击的语义影响。
• 采用感知哈希（aHash、pHash、dHash、wHash）及汉明距离进行贴片检测。
• 结合分割（Felzenszwalb、SLIC）、SSIM、轮廓分析、热力图和激活映射实现多模态取证检测。

实验结果

研究问题

• RQ1 扩散驱动的贴片在改变身份分类的同时保持感知不可觉性有多有效？
• RQ2 多模态取证管线是否能利用感知哈希、SSIM、分割和激活映射来检测并定位此类贴片？
• RQ3 反向扩散在对抗性扰动净化和恢复分类器性能方面起到怎样的作用？
• RQ4 贴片如何影响联合字幕输出与情感识别，在多模态框架中表现为何？

主要发现

• 通过扩散引导方法生成的对抗性贴片在感知相似的同时，能够影响身份嵌入和字幕（细节基于方法学）。
• 将感知哈希、SSIM、分割、轮廓检测、热力图和神经激活映射结合的多模态取证检测框架，可以在阈值被超出时标注对抗贴片。
• 检测采用基于阈值的哈希距离规则（例如跨哈希的汉明距离阈值为 5）。
• SSIM 和基于分割的异常分数用于定位贴片，分割分数对比平均值加两倍标准差的阈值。
• 该管线支持通过反向扩散进行对抗性净化，将对抗性图像映射回自然数据流形。