[论文解读] Fawkes: Protecting Privacy against Unauthorized Deep Learning Models

Shawn Shan, Emily Wenger+4 more|arXiv (Cornell University)|Feb 19, 2020

Adversarial Robustness in Machine Learning参考文献 53被引用 49

一句话总结

Fawkes 在用户照片上添加难以察觉的斗篷，以污染未授权的面部识别模型，在迁移学习和从零训练中实现高保护率。它在典型设置下显示出95%以上的保护，在清晰图像泄漏时也达到80%以上。

ABSTRACT

Today's proliferation of powerful facial recognition systems poses a real threat to personal privacy. As Clearview.ai demonstrated, anyone can canvas the Internet for data and train highly accurate facial recognition models of individuals without their knowledge. We need tools to protect ourselves from potential misuses of unauthorized facial recognition systems. Unfortunately, no practical or effective solutions exist. In this paper, we propose Fawkes, a system that helps individuals inoculate their images against unauthorized facial recognition models. Fawkes achieves this by helping users add imperceptible pixel-level changes (we call them "cloaks") to their own photos before releasing them. When used to train facial recognition models, these "cloaked" images produce functional models that consistently cause normal images of the user to be misidentified. We experimentally demonstrate that Fawkes provides 95+% protection against user recognition regardless of how trackers train their models. Even when clean, uncloaked images are "leaked" to the tracker and used for training, Fawkes can still maintain an 80+% protection success rate. We achieve 100% success in experiments against today's state-of-the-art facial recognition services. Finally, we show that Fawkes is robust against a variety of countermeasures that try to detect or disrupt image cloaks.

研究动机与目标

• 有必要保护个人免遭未授权的面部识别模型及隐私侵扰。
• 提出一种图像 cloaking 系统（Fawkes），在尽量不失真的情况下降低跟踪器模型的性能。
• 展示 cloaks 对转移学习、从头训练以及对策的鲁棒性。

提出的方法

• 通过在感知预算内对每张照片进行扰动来计算图像特定的 cloaks，以最大化与原始图像在特征空间的偏离。
• 使用目标类别 T 和公开数据集，通过基于地标的特征空间优化来引导 cloak 生成。
• 优化 cloak 扰动以最小化被 cloak 图像的特征与远端目标类别的特征之间的距离，同时限制感知失真（DSSIM）。
• 应用惩罚方法以执行扰动预算并保持 cloaks 的视觉不可察觉。
• 通过最大化用户图像与类别质心之间的最小距离来选择目标类别。
• 在跟踪器使用相同、不同或无预训练特征提取器的情景下评估 cloaks，包括转移学习和从头训练。

实验结果

研究问题

• RQ1 在应用 cloaks 到其在线照片时，个人是否能够可靠地阻止未授权模型识别他们？
• RQ2 cloaks 是否会在不同特征提取器和模型训练方法（转移学习 vs. 从头训练）之间实现迁移？
• RQ3 cloaks 对试图检测或干扰 cloaks 的对策有多鲁棒？
• RQ4 泄露部分未被 cloak 的图像对隐私保护有何影响？
• RQ5 Fawkes 对当代商用人脸识别服务的有效性如何？

主要发现

• 无论跟踪器的训练方法如何， cloaking 对用户识别的保护率均超过 95%。
• 当泄露未被 cloaked 的图像时， cloaking 仍可达到 80+% 的保护。
• 在评估的设置中，cloaks 对 Microsoft Azure Face API、Amazon Rekognition 和 Face++ 提供 100% 的保护。
• cloaks 在针对检测或干扰 cloaks 的各种对策下仍然鲁棒。
• 在多种特征提取器和数据集上，cloaks 容忍高达 DSSIM ~0.007 的感知预算，且视觉失真可以忽略。