[论文解读] Fawkes: Protecting Personal Privacy against Unauthorized Deep Learning Models

Shawn Shan, Emily Wenger+4 more|arXiv (Cornell University)|Feb 19, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用 14

一句话总结

Fawkes 是一种保护隐私的系统，通过在公开发布前向个人照片中注入人眼无法察觉的像素级‘面纱’，防止未经授权的面部识别。这些面纱可导致训练好的面部识别模型错误识别用户，对模型推理的保护率超过95%，即使原始图像泄露，成功率仍达80%，对最先进的服务实现100%的有效性。

ABSTRACT

Today's proliferation of powerful facial recognition systems poses a real threat to personal privacy. As this http URL demonstrated, anyone can canvas the Internet for data and train highly accurate facial recognition models of individuals without their knowledge. We need tools to protect ourselves from potential misuses of unauthorized facial recognition systems. Unfortunately, no practical or effective solutions exist. In this paper, we propose Fawkes, a system that helps individuals inoculate their images against unauthorized facial recognition models. Fawkes achieves this by helping users add imperceptible pixel-level changes (we call them cloaks) to their own photos before releasing them. When used to train facial recognition models, these cloaked images produce functional models that consistently cause normal images of the user to be misidentified. We experimentally demonstrate that Fawkes provides 95+% protection against user recognition regardless of how trackers train their models. Even when clean, uncloaked images are leaked to the tracker and used for training, Fawkes can still maintain an 80+% protection success rate. We achieve 100% success in experiments against today's state-of-the-art facial recognition services. Finally, we show that Fawkes is robust against a variety of countermeasures that try to detect or disrupt image cloaks.

研究动机与目标

• 解决利用公开可获取图像训练的未经授权面部识别模型所带来的日益增长的威胁。
• 开发一种实用且用户可控的防御机制，无需对现有面部识别系统进行修改。
• 确保经过伪装的图像在合法用途中仍能正常运作，同时降低未经授权模型的性能。
• 对针对伪装模式的检测和移除等对抗性反制措施保持鲁棒性。

提出的方法

• 用户在公开分享前，对其个人图像应用人眼无法察觉的像素级扰动，称为‘面纱’。
• 使用经过伪装的图像训练面部识别模型，当面对干净的、未伪装的图像时，这些模型会错误识别用户。
• 伪装过程设计为对人类观察者不可察觉，并能抵抗常见的图像变换。
• 系统确保伪装图像在语义上有效且适用于正常应用，如社交媒体。
• Fawkes 利用模型中毒技术嵌入后门，仅在用户干净的测试图像上触发错误分类。
• 该方法对旨在检测或识别面纱的多种图像预处理和对抗性检测技术具有鲁棒性。

实验结果

研究问题

• RQ1 用户能否通过修改自身图像，在不影响合法使用的情况下，使未经授权的面部识别模型性能下降？
• RQ2 该伪装技术在不同训练和推理场景下，能否保持高错误识别率？
• RQ3 当攻击者使用同一数据集中干净的、未伪装的图像进行模型训练时，Fawkes 是否仍能维持保护效果？
• RQ4 该伪装机制对敌对检测和移除尝试的抵抗能力如何？
• RQ5 Fawkes 在最先进的商业面部识别服务上是否表现出强劲性能？

主要发现

• Fawkes 在所有测试的面部识别模型训练场景中，对用户识别的保护率超过95%。
• 即使攻击者在其训练数据中包含干净的、未伪装的图像，Fawkes 仍能保持80%以上的错误识别成功率。
• 在测试当今最先进的面部识别服务时，Fawkes 表现出100%的有效性，导致错误识别。
• Fawkes 对旨在检测或移除伪装模式的各种反制措施保持鲁棒性。
• 该伪装技术对人类观察者完全不可察觉，且不降低图像的视觉质量或可用性。