[论文解读] Black-box Model Inversion Attribute Inference Attacks on Classification Models

Shagufta Mehnaz, Ninghui Li+1 more|arXiv (Cornell University)|Dec 7, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用 7

一句话总结

本文提出了两种新颖的黑盒模型反演攻击——基于置信度建模的（CMMIA）和基于置信度分数的（CSMIA）——通过数据库查询访问从分类模型中推断敏感属性。这些攻击在不平衡数据集上表现优于先前工作，揭示了某些人口群体更为脆弱，且在非敏感属性未知的情况下性能依然稳定。

ABSTRACT

Increasing use of ML technologies in privacy-sensitive domains such as medical diagnoses, lifestyle predictions, and business decisions highlights the need to better understand if these ML technologies are introducing leakages of sensitive and proprietary training data. In this paper, we focus on one kind of model inversion attacks, where the adversary knows non-sensitive attributes about instances in the training data and aims to infer the value of a sensitive attribute unknown to the adversary, using oracle access to the target classification model. We devise two novel model inversion attribute inference attacks -- confidence modeling-based attack and confidence score-based attack, and also extend our attack to the case where some of the other (non-sensitive) attributes are unknown to the adversary. Furthermore, while previous work uses accuracy as the metric to evaluate the effectiveness of attribute inference attacks, we find that accuracy is not informative when the sensitive attribute distribution is unbalanced. We identify two metrics that are better for evaluating attribute inference attacks, namely G-mean and Matthews correlation coefficient (MCC). We evaluate our attacks on two types of machine learning models, decision tree and deep neural network, trained with two real datasets. Experimental results show that our newly proposed attacks significantly outperform the state-of-the-art attacks. Moreover, we empirically show that specific groups in the training dataset (grouped by attributes, e.g., gender, race) could be more vulnerable to model inversion attacks. We also demonstrate that our attacks' performances are not impacted significantly when some of the other (non-sensitive) attributes are also unknown to the adversary.

研究动机与目标

• 为解决通过黑盒访问机器学习模型（这些模型在敏感数据上进行训练）所引发的隐私风险。
• 开发新型模型反演攻击，以在已知或部分已知非敏感属性的情况下推断敏感属性。
• 识别比准确率更有效的评估指标，用于属性推断攻击，尤其是在敏感属性分布不平衡的情况下。
• 调查由于数据分布模式，某些人口群体是否对模型反演攻击更具脆弱性。
• 评估当攻击者缺乏目标个体完整非敏感属性知识时，攻击的鲁棒性。

提出的方法

• 设计一种基于置信度建模的攻击（CMMIA），利用与目标模型相同人群的代理数据集来建模置信度分数，并推断敏感属性。
• 设计一种基于置信度分数的攻击（CSMIA），仅需标签和置信度分数输出，无需辅助数据集。
• 使用目标模型的置信度分数作为特征-标签相关性的代理，以重建敏感属性值。
• 训练一个代理模型，以预测目标模型在已知非敏感属性输入实例上的置信度分数。
• 应用度量变换和阈值处理技术，将置信度分数映射为预测的敏感属性值。
• 使用G-mean和Matthews相关系数（MCC）评估攻击性能，这些指标在数据不平衡时比准确率更具信息量。

实验结果

研究问题

• RQ1 当仅能通过数据库查询访问模型时，黑盒模型反演攻击是否能有效推断敏感属性？
• RQ2 在攻击者知识假设不同的情况下，所提出的CMMIA和CSMIA攻击与现有最先进攻击相比性能如何？
• RQ3 在敏感属性分布不平衡的情况下，G-mean和MCC是否比准确率更优的评估指标？
• RQ4 由于数据分布原因，某些人口群体（如按性别或教育水平划分）是否表现出对模型反演攻击的更高脆弱性？
• RQ5 当攻击者缺乏目标个体完整非敏感属性知识时，攻击性能如何退化？

主要发现

• 所提出的CMMIA和CSMIA攻击在决策树和深度神经网络模型上，均显著优于现有最先进攻击在属性推断准确率方面的表现。
• 在敏感属性不平衡的情况下，G-mean和Matthews相关系数（MCC）比准确率更具信息量，是评估属性推断攻击的更优指标。
• 某些人口群体——如特定性别或教育水平子群体——对模型反演攻击表现出更高脆弱性，表明模型隐私风险存在不平等属性。
• 即使攻击者缺乏部分非敏感属性知识，攻击仍保持强大性能，表明对部分信息具有鲁棒性。
• 基于置信度分数的攻击（CSMIA）无需使用人群级数据集即可实现高性能，使其适用于更受限的威胁模型。
• 本研究证实，高度预测性的模型更容易受到属性推断攻击，支持了模型性能与隐私泄露密切相关这一观点。