[论文解读] ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models

Yugeng Liu, Rui Wen+7 more|arXiv (Cornell University)|Feb 4, 2021

Adversarial Robustness in Machine Learning参考文献 67被引用 46

一句话总结

ML-Doctor 提供一个 holistic、模块化的框架，用于评估来自在不同架构和数据集上的成员推断、模型反演、属性推断和模型窃取的隐私风险，同时包括如 DP-SGD 和知识蒸馏等防御。

ABSTRACT

Inference attacks against Machine Learning (ML) models allow adversaries to learn sensitive information about training data, model parameters, etc. While researchers have studied, in depth, several kinds of attacks, they have done so in isolation. As a result, we lack a comprehensive picture of the risks caused by the attacks, e.g., the different scenarios they can be applied to, the common factors that influence their performance, the relationship among them, or the effectiveness of possible defenses. In this paper, we fill this gap by presenting a first-of-its-kind holistic risk assessment of different inference attacks against machine learning models. We concentrate on four attacks -- namely, membership inference, model inversion, attribute inference, and model stealing -- and establish a threat model taxonomy. Our extensive experimental evaluation, run on five model architectures and four image datasets, shows that the complexity of the training dataset plays an important role with respect to the attack's performance, while the effectiveness of model stealing and membership inference attacks are negatively correlated. We also show that defenses like DP-SGD and Knowledge Distillation can only mitigate some of the inference attacks. Our analysis relies on a modular re-usable software, ML-Doctor, which enables ML model owners to assess the risks of deploying their models, and equally serves as a benchmark tool for researchers and practitioners.

研究动机与目标

• 为推断攻击对 ML 模型的威胁模型提供完整分类法。
• 量化数据集复杂性和模型过拟合如何影响攻击性能。
• 探索不同攻击与防御之间在不同架构与数据集上的关系。
• 提供一个模块化、可重复使用的框架（ML-Doctor），用于研究人员和模型所有者对攻击和防御进行基准测试。

提出的方法

• 定义一个二维威胁模型分类法（模型访问：白盒/黑盒；辅助数据：部分/影子/无）。
• 在各种威胁模型下正式化四种推断攻击（成员推断、模型反演、属性推断、模型窃取）。
• 在五种模型架构和四个图像数据集上进行广泛的经验评估，分析攻击性能和防御有效性。
• 实现 ML-Doctor 作为一个具有数据处理、攻击、防御和评估模块的模块化框架。
• 使用影子模型和辅助数据来训练成员推断及相关攻击的攻击模型。
• 在攻击场景中评估 DP-SGD 与知识蒸馏等防御，确定防御覆盖范围与局限性。

实验结果

研究问题

• RQ1 RQ1：数据集的复杂性对不同攻击的影响是什么？
• RQ2 RQ2：过拟合对不同攻击的影响是什么？
• RQ3 RQ3：不同攻击之间的关系是什么？

主要发现

• 数据集复杂性对成员推断、模型反演和模型窃取的影响强烈；成员推断在更复杂的数据集上获益，而模型窃取在较复杂的数据集上往往表现较差。
• 成员推断成功率与模型窃取成功率之间存在负相关（r = -0.821），由过拟合效应驱动。
• 白盒访问通常比黑盒访问在多数攻击中具有更强的攻击性能。
• DP-SGD 在对成员推断的抑制方面有效，但对模型效用的影响有限；知识蒸馏有帮助，但对某些攻击效果不那么显著。
• 部分辅助数据在评估设置下对成员推断、属性推断或模型窃取的攻击性能没有显著提升。
• 模型窃取在较简单的数据集（如 FMNIST）上达到更高的一致性，相较于复杂数据集（如 STL10），这是由于过拟合动态的原因。