[论文解读] Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning

Yang Zou, Zhikun Zhang+2 more|arXiv (Cornell University)|Sep 10, 2020

Privacy-Preserving Technologies in Data参考文献 34被引用 16

一句话总结

本文首次系统分析了针对迁移学习模型的成员推断攻击，表明即使目标模型的架构未知，此类攻击依然极为有效。通过影子模型训练，作者在微调后的ResNet20模型上实现了高达95%的AUC，揭示了现实世界机器学习部署中的重大隐私风险。

ABSTRACT

While being deployed in many critical applications as core components, machine learning (ML) models are vulnerable to various security and privacy attacks. One major privacy attack in this domain is membership inference, where an adversary aims to determine whether a target data sample is part of the training set of a target ML model. So far, most of the current membership inference attacks are evaluated against ML models trained from scratch. However, real-world ML models are typically trained following the transfer learning paradigm, where a model owner takes a pretrained model learned from a different dataset, namely teacher model, and trains her own student model by fine-tuning the teacher model with her own data. In this paper, we perform the first systematic evaluation of membership inference attacks against transfer learning models. We adopt the strategy of shadow model training to derive the data for training our membership inference classifier. Extensive experiments on four real-world image datasets show that membership inference can achieve effective performance. For instance, on the CIFAR100 classifier transferred from ResNet20 (pretrained with Caltech101), our membership inference achieves $95\%$ attack AUC. Moreover, we show that membership inference is still effective when the architecture of target model is unknown. Our results shed light on the severity of membership risks stemming from machine learning models in practice.

研究动机与目标

• 调查在微调自预训练教师模型的迁移学习设置下，成员推断攻击的有效性。
• 评估在黑盒访问条件下，教师和学生数据集中的成员信息是否会被暴露。
• 分析冻结层数量对学生模型中攻击性能的影响。
• 评估当攻击者未知目标模型架构时，成员推断攻击是否依然有效。

提出的方法

• 采用影子模型训练生成数据，以模拟目标模型的行为，用于训练成员推断分类器。
• 设计了三种不同的攻击场景：攻击教师模型、攻击学生模型，以及在不同架构之间迁移攻击知识。
• 使用微调进行迁移学习，以ResNet20作为学生模型，VGG16作为教师模型，分别在Caltech101上预训练，并在CIFAR100、Flowers102和PubFig83上进行微调。
• 使用AUC（受试者工作特征曲线下面积）评估攻击性能，衡量推理模型区分训练样本与非训练样本的能力。
• 系统性地改变学生模型中冻结层的数量，以评估其对成员推断成功率的影响。
• 通过在与目标模型不同架构（如VGG16）的影子模型上训练，探索攻击的可迁移性。

实验结果

研究问题

• RQ1 在迁移学习设置下，特别是当目标模型为从教师模型微调得到的学生模型时，成员推断攻击是否仍然有效？
• RQ2 学生模型中冻结层的数量如何影响成员推断攻击的性能？
• RQ3 当攻击者不知道目标模型架构时，成员推断攻击是否仍能保持有效性？
• RQ4 在迁移学习过程中，教师模型的成员信息是否会通过学生模型泄露？

主要发现

• 在针对从在Caltech101上预训练的ResNet20教师模型微调得到的学生模型进行攻击时，成员推断攻击在CIFAR100数据集上实现了0.95的AUC。
• 随着学生模型中冻结层数量的增加，攻击性能显著下降，尤其在全部五个模块均被冻结时，下降最为剧烈。
• 当影子模型与目标模型架构不同时（例如，使用VGG16影子模型攻击ResNet20目标模型），攻击AUC仍保持在0.94以上，表明攻击具有强大的可迁移性。
• 教师模型的成员信息并未通过学生模型泄露，因为学生模型的参数是使用其自身数据更新的。
• 即使在高冻结率条件下，学生模型仍不可避免地泄露了其自身训练数据的成员信息。
• 当攻击者完全不了解目标模型架构时，攻击依然有效（AUC > 0.9），表明攻击在架构边界上具有强鲁棒性。