[论文解读] ML Privacy Meter: Aiding Regulatory Compliance by Quantifying the Privacy Risks of Machine Learning

Sasi Kumar Murakonda, Reza Shokri|arXiv (Cornell University)|Jul 18, 2020

Privacy-Preserving Technologies in Data参考文献 7被引用 38

一句话总结

ML Privacy Meter 量化来自机器学习模型的训练数据隐私风险，利用成员身份推断攻击，帮助 DPIA 和法规合规。

ABSTRACT

When building machine learning models using sensitive data, organizations should ensure that the data processed in such systems is adequately protected. For projects involving machine learning on personal data, Article 35 of the GDPR mandates it to perform a Data Protection Impact Assessment (DPIA). In addition to the threats of illegitimate access to data through security breaches, machine learning models pose an additional privacy risk to the data by indirectly revealing about it through the model predictions and parameters. Guidances released by the Information Commissioner's Office (UK) and the National Institute of Standards and Technology (US) emphasize on the threat to data from models and recommend organizations to account for and estimate these risks to comply with data protection regulations. Hence, there is an immediate need for a tool that can quantify the privacy risk to data from models. In this paper, we focus on this indirect leakage about training data from machine learning models. We present ML Privacy Meter, a tool that can quantify the privacy risk to data from models through state of the art membership inference attack techniques. We discuss how this tool can help practitioners in compliance with data protection regulations, when deploying machine learning models.

研究动机与目标

• 推动评估来自 ML 模型的隐私风险，超越传统的安全威胁。
• 提出一种量化工具，通过模型预测和参数来衡量间接的数据泄露。
• 展示该工具如何通过为风险评估和缓解决策提供信息来支持监管合规。

提出的方法

• 实现成员身份推断攻击技术，在不同访问假设（黑盒、白盒）下评估隐私风险。
• 通过比较成员与非成员的攻击输出分布来计算训练记录的风险分数。
• 使用 ROC 曲线来量化攻击者的成功率，并推导聚合隐私风险度量（曲线下面积）。
• 生成详细的隐私报告，比较不同记录和访问级别（仅预测 vs 预测加参数）的风险。
• 提供缓解策略的指导，并在实践中评估差分隐私参数（epsilon）。

实验结果

研究问题

• RQ1 如何利用成员身份推断攻击来量化来自 ML 模型的训练数据隐私风险？
• RQ2 访问级别（黑盒与白盒）如何影响推断出的隐私风险？
• RQ3 该工具是否有助于选择缓解策略和隐私参数，以在效用与隐私之间取得平衡？

主要发现

• 该工具通过成员身份推断攻击的成功率来量化隐私风险，使用 ROC 曲线表示真阳性与假阳性之间的权衡。
• 它为所有训练记录提供隐私风险分数，并允许跨类别比较。
• 它能够在不同访问模式（黑盒与白盒）下评估隐私风险，并支持聚合级别和每条记录级别的报告。
• ML Privacy Meter 能指导实际的缓解行动，并通过识别高风险数据记录来告知 DPIA。
• 该框架支持在每个 epsilon 下测量风险来探索差分隐私保证并选择 epsilon 值。