[论文解读] Leakage of Dataset Properties in Multi-Party Machine Learning

Wanrong Zhang, Shruti Tople+1 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data参考文献 46被引用 28

一句话总结

本文表明，在安全多方机器学习中，一个好奇的参与方可仅通过黑盒访问最终模型，即可推断出另一方数据集中敏感属性的全局分布。即使敏感属性未被包含在训练数据中且与其他特征的相关性较低，由于数据中隐藏的相关性，仍会发生信息泄露，从而破坏对群体级属性的隐私保护。

ABSTRACT

Secure multi-party machine learning allows several parties to build a model on their pooled data to increase utility while not explicitly sharing data with each other. We show that such multi-party computation can cause leakage of global dataset properties between the parties even when parties obtain only black-box access to the final model. In particular, a ``curious'' party can infer the distribution of sensitive attributes in other parties' data with high accuracy. This raises concerns regarding the confidentiality of properties pertaining to the whole dataset as opposed to individual data records. We show that our attack can leak population-level properties in datasets of different types, including tabular, text, and graph data. To understand and measure the source of leakage, we consider several models of correlation between a sensitive attribute and the rest of the data. Using multiple machine learning models, we show that leakage occurs even if the sensitive attribute is not included in the training data and has a low correlation with other attributes or the target variable.

研究动机与目标

• 调查在安全多方机器学习环境中，是否可能泄露全局数据集属性（如敏感属性的分布）。
• 评估在仅能访问黑盒模型的情况下，推断其他参与方数据集群体级统计信息的可行性。
• 评估常见防御措施（如移除敏感属性）的有效性，考虑到数据中的相关性仍可能导致信息泄露。
• 理解敏感属性与其他特征之间的数据相关性在促成此类泄露中的作用。
• 证明该泄露在多种数据类型中均可能发生，包括表格型、文本型和图结构型数据。

提出的方法

• 攻击利用对最终模型的黑盒查询接口，向精心构造的探测数据集发出推理查询，以观察输出差异。
• 使用逻辑回归元分类器对模型的预测输出进行训练，以推断另一方数据集中敏感属性的分布。
• 该方法构建了敏感属性特定取值比例不同的探测数据集，从而实现对真实分布的统计推断。
• 该方法在多种数据类型上进行了评估：表格型（如 adult、random）、文本型（如 IMDB）和图结构型（如 Cora）数据集。
• 在敏感属性与其他特征之间相关性水平不同的情况下测试了该攻击，包括敏感属性未出现在训练数据中的情况。
• 分析考虑了一种威胁模型，即一方为诚实但好奇的参与方，意味着其不会篡改数据或模型代码，但会试图提取全局属性信息。

实验结果

研究问题

• RQ1 一个好奇的参与方可否仅通过访问在聚合数据上训练的模型的黑盒接口，推断出另一方数据集中敏感属性的分布？
• RQ2 当敏感属性未包含在训练数据中时，全局数据集属性的泄露是否仍然存在？
• RQ3 当敏感属性与其他特征或目标变量的相关性较低甚至为零时，该攻击的有效性如何？
• RQ4 敏感属性与其他特征之间的隐藏相关性在多方学习中促成信息泄露的程度如何？
• RQ5 在该场景下，现有防御措施（如移除敏感属性）是否能有效防止群体级属性的泄露？

主要发现

• 该攻击仅使用100至200次黑盒查询，即可高精度地推断出其他参与方数据集中敏感属性的分布。
• 即使敏感属性未被包含在训练数据中，泄露仍会发生，表明仅靠数据中的相关性就足以实现推断。
• 该方法在多种数据类型中均有效，包括表格型、文本型和图结构型数据，显示出广泛适用性。
• 当敏感属性与其他特征或目标变量的相关性接近零时，该攻击仍具有效性，这是由于数据中存在间接相关性。
• 简单的防御措施（如移除敏感属性）不足以防止泄露，因为信息仍可通过数据相关性被恢复。
• 在两方设置中，泄露更为显著；在超过两个参与方的多方设置中，信号因难以将属性映射到特定参与方而减弱。