[论文解读] Data Poisoning Won't Save You From Facial Recognition

Evani Radiya-Dixit, Hong, Sanghyun+2 more|arXiv (Cornell University)|Jun 28, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文证明，针对面部识别的数据 poisoning 防护措施——如 Fawkes 和 LowKey——由于存在固有的不对称性而从根本上存在缺陷：一旦扰动图像被爬取，便无法更新，使得模型训练者能够通过自适应训练或未来模型绕过防护。关键结论是，这些防护措施对未来的或自适应的面部识别系统无效，因而仅提供虚假的安全感。

ABSTRACT

Data poisoning has been proposed as a compelling defense against facial recognition models trained on Web-scraped pictures. Users can perturb images they post online, so that models will misclassify future (unperturbed) pictures. We demonstrate that this strategy provides a false sense of security, as it ignores an inherent asymmetry between the parties: users' pictures are perturbed once and for all before being published (at which point they are scraped) and must thereafter fool all future models -- including models trained adaptively against the users' past attacks, or models that use technologies discovered after the attack. We evaluate two systems for poisoning attacks against large-scale facial recognition, Fawkes (500'000+ downloads) and LowKey. We demonstrate how an "oblivious" model trainer can simply wait for future developments in computer vision to nullify the protection of pictures collected in the past. We further show that an adversary with black-box access to the attack can (i) train a robust model that resists the perturbations of collected pictures and (ii) detect poisoned pictures uploaded online. We caution that facial recognition poisoning will not admit an "arms race" between attackers and defenders. Once perturbed pictures are scraped, the attack cannot be changed so any future successful defense irrevocably undermines users' privacy.

研究动机与目标

• 调查数据 poisoning 防护在面部识别中的安全保证。
• 揭示用户（污染图像者）与模型训练者（防御者）之间存在的根本不对称性。
• 评估最先进的 poisoning 系统（如 Fawkes 和 LowKey）是否能抵御未来或自适应的面部识别模型。
• 证明模型训练者可仅通过黑盒访问攻击方法，训练出能抵抗已爬取图像扰动的鲁棒模型。
• 主张数据 poisoning 无法形成可持续的军备竞赛，也不应被依赖作为隐私保护手段。

提出的方法

• 定义一个安全博弈，形式化用户（攻击者）与模型训练者（防御者）之间的动态交互。
• 评估 Fawkes 和 LowKey 在应对自适应训练策略时的有效性，这些策略会重新训练模型以抵御已知扰动。
• 利用对 poisoning 攻击的黑盒访问，训练出能抵抗先前爬取图像扰动的鲁棒面部识别模型。
• 证明新型面部识别模型（如 MagFace 和 CLIP 微调模型）天然抵抗 Fawkes 和 LowKey 所用的特定扰动。
• 表明模型训练者可简单等待计算机视觉技术的未来进展，并对过去爬取的数据反向训练忽略 poisoning 扰动的模型。
• 实现并发布代码，以复现攻击与防御，支持验证与进一步研究。

实验结果

研究问题

• RQ1 模型训练者是否可在事后利用自适应训练策略绕过面部识别中的数据 poisoning 防护？
• RQ2 如 Fawkes 和 LowKey 等最先进的 poisoning 系统，是否仍能有效抵御使用新架构或训练技术的未来面部识别模型？
• RQ3 仅通过黑盒访问 poisoning 方法的模型训练者，能否训练出能抵抗已爬取图像扰动的鲁棒模型？
• RQ4 数据 poisoning 与模型防御之间是否存在可持续的军备竞赛？
• RQ5 当前的数据 poisoning 防护在多大程度上为用户提供了虚假的安全感？

主要发现

• Fawkes poisoning 攻击对 MagFace 模型无效，该模型在 Fawkes 发布后推出，且天然抵抗其特定扰动。
• LowKey poisoning 攻击对从 OpenAI 的 CLIP 微调的面部识别模型无效，该模型与 LowKey 同月发布。
• 模型训练者仅通过黑盒访问 poisoning 方法，即可训练出鲁棒模型，从而有效中和用户扰动图像提供的保护。
• ‘盲目’的模型训练者可等待计算机视觉技术的未来进步，并对过往爬取的数据反向训练忽略 poisoning 扰动的模型。
• 本文证明，由于图像爬取的不可逆性以及训练者适应能力，数据 poisoning 无法提供长期隐私保护。
• 作者得出结论：数据 poisoning 并非可行的防御手段，而应对面部识别的立法限制才是实现隐私保护的唯一可持续路径。