[论文解读] Do I Get the Privacy I Need? Benchmarking Utility in Differential Privacy Libraries

Gonzalo Munilla Garrido, Joseph P. Near+4 more|arXiv (Cornell University)|Sep 22, 2021

Privacy-Preserving Technologies in Data被引用 8

一句话总结

本文对五种开源差分隐私库——Google DP、SmartNoise、diffprivlib、diffpriv 和 Chorus——在效用性、可扩展性和易用性方面进行了基准测试。研究发现，尽管所有库在基础分析查询上的效用性表现相近，但在分析师支持、侧信道防护和功能集方面存在显著差异，且没有一个库在所有维度上均表现卓越。

ABSTRACT

An increasing number of open-source libraries promise to bring differential privacy to practice, even for non-experts. This paper studies five libraries that offer differentially private analytics: Google DP, SmartNoise, diffprivlib, diffpriv, and Chorus. We compare these libraries qualitatively (capabilities, features, and maturity) and quantitatively (utility and scalability) across four analytics queries (count, sum, mean, and variance) executed on synthetic and real-world datasets. We conclude that these libraries provide similar utility (except in some notable scenarios). However, there are significant differences in the features provided, and we find that no single library excels in all areas. Based on our results, we provide guidance for practitioners to help in choosing a suitable library, guidance for library designers to enhance their software, and guidance for researchers on open challenges in differential privacy tools for non-experts.

研究动机与目标

• 评估主流开源差分隐私库在非专家用户中的实际效用性和可扩展性。
• 识别各库在功能、分析师支持和侧信道防护方面的关键差异。
• 为实践者选择库、库设计者改进工具以及研究人员识别开放挑战提供可操作的指导。
• 建立可复现的基准测试框架，以供未来对DP库的评估。
• 突出理论隐私保证与实际生产系统中效用性之间的差距。

提出的方法

• 基于功能、特性、成熟度和设计目标，对五种库进行定性比较。
• 在合成数据和真实世界数据集上，对四种分析查询（计数、求和、均值和方差）进行定量基准测试。
• 通过误差度量（如均方误差）评估效用性，通过执行时间评估可扩展性，随数据集规模增加而测量。
• 评估侧信道防护、自动敏感度计算和隐私预算管理支持。
• 使用可复现的代码和标准化配置，确保各库之间的公平比较。
• 在不同隐私预算（ε）和数据规模下进行实验，分析效用性权衡。

实验结果

研究问题

• RQ1 在常见分析查询中，五种DP库在效用性和可扩展性方面如何比较？
• RQ2 各库在功能、分析师支持和侧信道防护方面存在哪些关键差异？
• RQ3 效用结果在多大程度上受数据规模和隐私预算（ε）的影响？
• RQ4 库在真实世界数据与合成数据环境下的表现如何？
• RQ5 在实际部署中，使用复杂机制与基本机制的实用影响是什么？

主要发现

• 所有五种库在基础查询（计数、求和、均值、方差）上提供相似的效用性，误差大小受数据规模和ε值影响较小。
• 无任何库能高效扩展至真正大规模数据集，表明在大规模部署中仍需进一步优化。
• 分析师支持方面存在显著差异：diffprivlib 提供较强的面向数据科学家的支持，而 Google-DP 在侧信道防护方面表现更优。
• 各库在功能方面差异显著，如自动敏感度计算、隐私预算管理以及对机器学习的支持。
• 效用性并非仅由ε决定；数据规模和查询类型对误差率有显著影响，尤其当ε < 1且数据量 ≥10,000时更为明显。
• 实现中的错误可能导致异常（如 WhiteNoise 0.1.3 中的浮点数漏洞），凸显了对形式化验证工具（如随机测试）的需求。