[论文解读] FaceLeaks: Inference Attacks against Transfer Learning Models via Black-box Queries

Seng Pei Liew, Tsubasa Takahashi|arXiv (Cornell University)|Oct 27, 2020

Adversarial Robustness in Machine Learning参考文献 56被引用 8

一句话总结

本文提出 FaceLeaks，一种新颖的推理攻击方法，利用迁移学习中对学生模型的黑盒访问，从底层教师模型的训练数据中泄露私有信息。通过利用聚合级查询和基于类别的推理策略，作者证明了即使没有直接访问教师模型，成员身份推断和属性推断攻击也是可行的，揭示了现实世界人脸识别系统中的关键隐私风险。

ABSTRACT

Transfer learning is a useful machine learning framework that allows one to build task-specific models (student models) without significantly incurring training costs using a single powerful model (teacher model) pre-trained with a large amount of data. The teacher model may contain private data, or interact with private inputs. We investigate if one can leak or infer such private information without interacting with the teacher model directly. We describe such inference attacks in the context of face recognition, an application of transfer learning that is highly sensitive to personal privacy. Under black-box and realistic settings, we show that existing inference techniques are ineffective, as interacting with individual training instances through the student models does not reveal information about the teacher. We then propose novel strategies to infer from aggregate-level information. Consequently, membership inference attacks on the teacher model are shown to be possible, even when the adversary has access only to the student models. We further demonstrate that sensitive attributes can be inferred, even in the case where the adversary has limited auxiliary information. Finally, defensive strategies are discussed and evaluated. Our extensive study indicates that information leakage is a real privacy threat to the transfer learning framework widely used in real-life situations.

研究动机与目标

• 调查在无直接访问的情况下，是否可以推断迁移学习中教师模型私有训练数据。
• 探索仅通过学生模型 API 对人脸识别系统进行成员身份和属性推断攻击的可行性。
• 开发新型推理策略，以克服在黑盒环境下现有技术的局限性。
• 评估在实际部署场景中针对此类隐私泄露的防御措施。
• 突出强调在人脸识别等敏感应用中，迁移学习带来的现实世界隐私风险。

提出的方法

• 提出一种基于类别的推理策略，通过聚合多个实例的查询，推断训练数据中成员身份。
• 设计仅与学生模型 API 交互的黑盒查询攻击，模拟现实中的对抗性访问。
• 利用跨类别的预测置信度分数的统计分析，检测指示训练数据成员身份的模式。
• 应用辅助信息压缩技术，在仅有有限辅助知识的情况下推断敏感属性。
• 评估差分隐私和对抗性训练等防御机制，以减轻推理风险。
• 采用系统化的评估流程，结合真实世界人脸识别基准和受控查询实验。

实验结果

研究问题

• RQ1 攻击者能否仅通过学生模型的黑盒访问，推断特定人脸图像是否属于教师模型的训练数据？
• RQ2 当仅有部分辅助信息时，敏感属性（如性别、种族）在多大程度上能从学生模型查询中被推断出来？
• RQ3 为何标准成员身份推断技术在应用于通过迁移学习训练的学生模型时会失效？
• RQ4 何种新型查询策略能够在无直接访问教师模型的情况下实现有效推断？
• RQ5 现有的防御技术（如差分隐私）在缓解此类推理攻击方面的有效性如何？

主要发现

• 当直接应用于学生模型时，标准成员身份推断攻击因教师模型知识的蒸馏而失效。
• 所提出的基于类别的推理策略即使在黑盒约束下，也能以高准确率成功识别教师模型训练实例的成员身份。
• 仅通过聚合查询模式和极少的辅助信息，即可以显著置信度推断出性别和种族等敏感属性。
• 即使攻击者对训练数据分布或标签结构的知识有限，该攻击仍保持有效性。
• 差分隐私和对抗性训练等防御措施虽能降低但无法完全消除推断成功率，表明仍存在持续的漏洞。
• 本研究证实，迁移学习引入了非平凡的隐私泄露风险，尤其在人脸识别等高风险应用场景中。