[论文解读] Dataset-Level Attribute Leakage in Collaborative Learning.

Wanrong Zhang, Shruti Tople+1 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data参考文献 34被引用 8

一句话总结

本文揭示了通过安全多方计算实现的协作式机器学习可能泄露全局数据集级属性——例如敏感特征的分布——即使仅能通过黑盒访问最终模型，这种泄露仍会发生。该攻击在表格数据、文本数据和图数据上均有效，即使敏感属性未出现在训练数据中且与其他特征的相关性较低，仍会暴露群体层面的信息。

ABSTRACT

Secure multi-party machine learning allows several parties to build a model on their pooled data to increase utility while not explicitly sharing data with each other. We show that such multi-party computation can cause leakage of global dataset properties between the parties even when parties obtain only black-box access to the final model. In particular, a curious party can infer the distribution of sensitive attributes in other parties' data with high accuracy. This raises concerns regarding the confidentiality of properties pertaining to the whole dataset as opposed to individual data records. We show that our attack can leak population-level properties in datasets of different types, including tabular, text, and graph data. To understand and measure the source of leakage, we consider several models of correlation between a sensitive attribute and the rest of the data. Using multiple machine learning models, we show that leakage occurs even if the sensitive attribute is not included in the training data and has a low correlation with other attributes and the target variable.

研究动机与目标

• 调查基于安全多方计算的协作式机器学习是否会无意中泄露数据集的全局属性，例如敏感属性的分布。
• 检验当敏感属性未包含在训练数据中且与其他特征相关性较低时，此类泄露是否仍会发生。
• 通过建模敏感属性与其他数据之间各种相关性结构，理解此类泄露背后的机制。
• 评估该泄露在多种数据类型（包括表格数据、文本数据和图结构数据）中的鲁棒性。
• 在不同模型架构和训练配置下，测量并量化属性泄露的程度与准确性。

提出的方法

• 作者设计了一种黑盒推理攻击，其中好奇的参与方可通过查询最终模型来重建另一方数据集中敏感属性的分布。
• 他们使用多种相关性结构（包括低相关性和非线性相关性）来建模敏感属性与其他特征之间的关系。
• 该攻击利用模型输出（例如预测结果、梯度或logits）来估计其他参与方数据集中敏感属性的全局统计特征。
• 他们在多种机器学习模型上评估该方法，包括前馈神经网络、图神经网络（GNN）和基于BERT的模型，涵盖多种数据类型。
• 他们采用统计推断技术，以高精度估计其他参与方数据集中敏感属性为正例的占比。
• 该方法在真实世界的数据集上于表格、文本和图领域进行了验证，以证明其泛化能力。

实验结果

研究问题

• RQ1 仅通过黑盒访问协作模型，好奇的参与方可否推断出另一方数据集中敏感属性的全局分布？
• RQ2 当敏感属性未包含在训练数据中且与其他特征相关性较低时，数据集级属性的泄露是否仍然存在？
• RQ3 该泄露在不同数据模态（如表格数据、文本数据和图结构数据）之间如何变化？
• RQ4 模型架构和训练动态在促成或缓解此类属性泄露方面起到什么作用？
• RQ5 能否通过在模型输出上进行统计推断，对泄露程度进行测量和量化？

主要发现

• 即使敏感属性未出现在训练数据中，该攻击仍能以高精度推断出其他参与方数据集中敏感属性的分布。
• 当敏感属性与其他特征及目标变量的相关性较低时，泄露依然发生，表明该泄露不依赖于强特征依赖关系。
• 该方法在多种数据类型（包括表格、文本和图数据）上均具有泛化能力，表明攻击具有广泛适用性。
• 仅通过向最终模型发起黑盒查询，即可检测并量化该泄露，无需访问梯度或模型内部状态。
• 结果表明，全局数据集属性（如具有特定敏感特征的个体比例）可被以极小误差重建，引发严重的隐私担忧。
• 本研究揭示，在协作学习中，即使在安全多方计算等强安全假设下，数据集级属性的机密性仍面临风险。