[论文解读] Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models

Xinlei He, Zheng Li+3 more|arXiv (Cornell University)|Aug 22, 2022

Adversarial Robustness in Machine Learning被引用 10

一句话总结

本文提出了 Membership-Doctor，一个全面的基准框架，用于在多种模型、数据集和威胁模型下评估成员推理攻击及其防御措施。研究发现，熵/交叉熵的 Jensen-Shannon 散度比过拟合更能准确预测攻击成功率；同时，数据增强显著削弱了现有攻击，同时提升了模型性能，展现出一种新型且有效的防御策略。

ABSTRACT

Machine learning models are prone to memorizing sensitive data, making them vulnerable to membership inference attacks in which an adversary aims to infer whether an input sample was used to train the model. Over the past few years, researchers have produced many membership inference attacks and defenses. However, these attacks and defenses employ a variety of strategies and are conducted in different models and datasets. The lack of comprehensive benchmark, however, means we do not understand the strengths and weaknesses of existing attacks and defenses. We fill this gap by presenting a large-scale measurement of different membership inference attacks and defenses. We systematize membership inference through the study of nine attacks and six defenses and measure the performance of different attacks and defenses in the holistic evaluation. We then quantify the impact of the threat model on the results of these attacks. We find that some assumptions of the threat model, such as same-architecture and same-distribution between shadow and target models, are unnecessary. We are also the first to execute attacks on the real-world data collected from the Internet, instead of laboratory datasets. We further investigate what determines the performance of membership inference attacks and reveal that the commonly believed overfitting level is not sufficient for the success of the attacks. Instead, the Jensen-Shannon distance of entropy/cross-entropy between member and non-member samples correlates with attack performance much better. This gives us a new way to accurately predict membership inference risks without running the attack. Finally, we find that data augmentation degrades the performance of existing attacks to a larger extent, and we propose an adaptive attack using augmentation to train shadow and attack models that improve attack performance.

研究动机与目标

• 为解决在多种模型、数据集和威胁模型下评估成员推理攻击与防御措施时缺乏全面基准的问题。
• 系统性地评估九种最先进攻击方法和六种防御措施在不同实验条件下的性能表现。
• 探究常见威胁模型假设（如影子模型与目标模型架构相同或数据分布相同）的必要性。
• 识别超越过拟合的内在因素，以确定攻击有效性的决定因素，并评估真实世界数据与数据增强的影响。
• 开发一个模块化、可扩展的框架——Membership-Doctor，支持新攻击、防御、数据集和模型的集成。

提出的方法

• 作者实现了一个模块化框架 Membership-Doctor，整合了九种成员推理攻击和六种防御措施，涵盖四种模型架构（VGG11、MobileNetV2、ResNet18、ResNet34）和六个基准数据集（CIFAR10、CIFAR100、Place20/40/60/80）。
• 在 1,296 种攻击场景中系统评估所有组合，通过改变威胁模型假设（包括影子模型架构和数据分布）进行分析。
• 该框架支持在真实世界条件下测量攻击性能，包括使用从互联网收集的数据而非实验室数据集进行攻击。
• 通过计算成员样本与非成员样本的熵和交叉熵分布之间的 Jensen-Shannon 散度，以预测攻击成功率。
• 评估数据增强对攻击和防御性能的影响，提出一种自适应攻击方法，即在影子模型和攻击模型训练中使用数据增强。
• 对防御措施的超参数进行调优，以探索隐私-性能权衡，尤其针对 DP-SGD、MixupMMD 和标签平滑方法。

实验结果

研究问题

• RQ1 在固定实验场景下，哪种成员推理攻击和防御方法表现最佳？
• RQ2 威胁模型中的不同假设（如影子模型与目标模型架构相同或数据分布相同）如何影响攻击性能？
• RQ3 除了过拟合之外，哪些内在因素决定了成员推理攻击的成功？
• RQ4 当使用从互联网收集的真实世界数据时，成员推理攻击的有效性如何？
• RQ5 数据增强如何影响攻击和防御的性能？它能否被用作一种防御机制？

主要发现

• NN-normal+label 攻击在所有评估攻击中表现最佳，而基于度量的攻击在计算成本更低的情况下也取得了相近的性能。
• MixupMMD 和 DP-SGD 是最有效的防御措施，其中 MixupMMD 在保持模型性能方面优于其他防御方法。
• 如影子模型与目标模型架构相同或数据分布相同等假设，并非有效攻击所必需，挑战了以往的假设。
• 成员样本与非成员样本之间熵和交叉熵的 Jensen-Shannon 散度与攻击性能高度相关，可在不实际运行攻击的情况下预测隐私风险。
• 数据增强显著降低现有攻击的性能，同时作为强有力的防御手段，提升了隐私保护和模型性能。
• 在训练影子模型和攻击模型时使用数据增强的自适应攻击，相较于标准攻击，在面对经数据增强训练的模型时表现更优。