[论文解读] Adversarial Generative Nets: Neural Network Attacks on State-of-the-Art Face Recognition.

Mahmood Sharif, Sruti Bhagavatula+2 more|arXiv (Cornell University)|Jan 3, 2018

Adversarial Robustness in Machine Learning参考文献 77被引用 94

一句话总结

本文提出对抗性生成网络，以自动创建在物理上可实现的眼镜，从而对基于深度神经网络的人脸识别系统实施有针对性和非针对性的误分类攻击。该方法通过通用眼镜设计，实现了高度隐蔽性、对防御机制的鲁棒性以及可扩展性，在真实物理环境中展示了有效的规避能力。

ABSTRACT

In this paper we show that misclassification attacks against face-recognition systems based on deep neural networks (DNNs) are more dangerous than previously demonstrated, even in contexts where the adversary can manipulate only her physical appearance (versus directly manipulating the image input to the DNN). Specifically, we show how to create eyeglasses that, when worn, can succeed in targeted (impersonation) or untargeted (dodging) attacks while improving on previous work in one or more of three facets: (i) inconspicuousness to onlooking observers, which we test through a user study; (ii) robustness of the attack against proposed defenses; and (iii) scalability in the sense of decoupling eyeglass creation from the subject who will wear them, i.e., by creating universal sets of eyeglasses that facilitate misclassification. Central to these improvements are adversarial generative nets, a method we propose to generate physically realizable attack artifacts (here, eyeglasses) automatically.

研究动机与目标

• 开发基于深度神经网络的先进人脸识别系统所用的物理可实现对抗性攻击。
• 提升攻击的隐蔽性，使经过篡改的眼镜对人类观察者无法察觉。
• 增强对旨在检测或缓解对抗性扰动的防御机制的鲁棒性。
• 通过将眼镜设计与个体用户解耦，创建通用攻击模板，实现可扩展部署。
• 通过仅改变个人外貌（如眼镜）的方式，证明在真实世界中成功实施攻击的可行性。

提出的方法

• 提出对抗性生成网络（AGN），一种新颖的深度学习框架，联合优化对抗性扰动与攻击载体（眼镜）的物理可实现性。
• 使用生成模型合成带有嵌入镜片图案扰动的逼真眼镜框，以误导人脸识别深度神经网络。
• 采用可微分渲染流程，模拟眼镜在不同光照、角度和相机条件下的外观。
• 使用损失函数进行模型训练，以平衡误分类目标的准确率、与自然眼镜的视觉相似性，以及对图像变换的鲁棒性。
• 开展用户研究，通过测量观察者检测率来评估生成眼镜的隐蔽性。
• 将训练好的AGN模型用于生成适用于多个个体的通用眼镜模板，无需重新训练。

实验结果

研究问题

• RQ1 对抗性扰动能否以对人类观察者视觉上无法察觉的方式嵌入物理眼镜中？
• RQ2 这些物理对抗性攻击对人脸识别系统中常见的防御机制有多大的鲁棒性？
• RQ3 是否可以使用单一通用眼镜集合对多个个体均有效，从而实现可扩展部署？
• RQ4 生成的眼镜在真实物理环境中在多大程度上实现了高攻击成功率？
• RQ5 与先前工作相比，该方法在隐蔽性、鲁棒性和可扩展性方面表现如何？

主要发现

• 在用户研究中，所提出的对抗性生成网络成功生成的眼镜在视觉上与真实眼镜无法区分，观察者检测率极低。
• 即使在应用常见防御技术（如对抗性训练和图像预处理）的情况下，物理攻击仍保持超过90%的高成功率。
• 通用眼镜模板在无需针对个体进行调优的情况下，成功欺骗了多个个体的人脸识别模型。
• 该方法在不同光照、角度和相机分辨率下表现出稳健性能，表明其在物理部署中具有强大的泛化能力。
• 在隐蔽性、鲁棒性和可扩展性三个维度上，该方法的攻击成功率均超过先前工作。