[论文解读] Guidelines for Implementing and Auditing Differentially Private Systems

Daniel Kifer, Solomon Messing+3 more|arXiv (Cornell University)|Feb 10, 2020

Privacy-Preserving Technologies in Data参考文献 67被引用 25

一句话总结

本文提供了实现和审计差分隐私系统的一套全面最佳实践，重点聚焦于单元测试、代码审查和参数选择。它提出了一种模块化架构，将隐私关键组件隔离，以简化验证并减少攻击面，从而实现具有强数学保证的隐私保护数据平台的实际部署。

ABSTRACT

Differential privacy is an information theoretic constraint on algorithms and code. It provides quantification of privacy leakage and formal privacy guarantees that are currently considered the gold standard in privacy protections. In this paper we provide an initial set of "best practices" for developing differentially private platforms, techniques for unit testing that are specific to differential privacy, guidelines for checking if differential privacy is being applied correctly in an application, and recommendations for parameter settings. The genesis of this paper was an initiative by Facebook and Social Science One to provide social science researchers with programmatic access to a URL-shares dataset. In order to maximize the utility of the data for research while protecting privacy, researchers should access the data through an interactive platform that supports differential privacy. The intention of this paper is to provide guidelines and recommendations that can generally be re-used in a wide variety of systems. For this reason, no specific platforms will be named, except for systems whose details and theory appear in academic papers.

研究动机与目标

• 解决在实际软件部署中缺乏标准化差分隐私系统实现与审计最佳实践的问题。
• 降低因实现错误、侧信道漏洞以及理论模型与实际代码不匹配而导致的隐私泄露风险。
• 通过系统化测试、模块化设计和对隐私关键组件的公开审计，提升对差分隐私部署的信心。
• 为开发人员和审计人员提供实用且可复用的指南，用于构建或审查声称提供差分隐私的系统。
• 弥合理论差分隐私证明与生产软件中正确实现之间的差距。

提出的方法

• 提出分层系统架构，将数据访问（敏感度计算）与隐私逻辑（噪声输出生成）分离，实现独立测试。
• 倡导最小化‘隐私核心’——即为保证隐私而必须正确实现的代码部分——通过将非隐私关键逻辑移至后处理层来实现。
• 基于统计假设检验实现自动化单元测试，以检测对最坏情况差分隐私保证的违反。
• 使用敏感度和利普希茨连续性检查作为基础测试，验证输入变化不会导致输出发生过度变化。
• 集成类型系统和形式化验证技术，静态追踪敏感度，并尽可能在编译时确保正确性。
• 建议开源隐私核心，以促进更广泛的同行评审，提升对系统正确性的信任。

实验结果

研究问题

• RQ1 开发人员如何确保差分隐私算法的实现与理论隐私保证一致？
• RQ2 哪些系统化测试策略能够检测出形式化验证难以发现的差分隐私实现中的细微错误？
• RQ3 如何设计系统架构以最小化攻击面并简化对隐私关键代码的审计？
• RQ4 侧信道漏洞（如计时攻击或浮点数误差）在实践中如何破坏差分隐私？
• RQ5 自动化测试如何与数学证明协同作用，以增强对差分隐私系统的信心？

主要发现

• 本文确立了测试在检测实现层面错误中的关键作用，即使理论证明正确，此类错误仍可能使隐私保证失效。
• 将系统模块化为数据访问、隐私和后处理三层，可实现独立测试，并减少必须为隐私而验证的代码表面。
• 通过测量相邻数据集之间的输出差异，可对敏感度和利普希茨连续性进行经验测试，提供一种实用的验证方法。
• 使用自动化统计假设检验可帮助证伪差分隐私的声明，作为形式化证明的实用补充。
• 侧信道漏洞（如计时攻击和浮点精度问题）是真实存在的风险，必须在实现和审计阶段加以应对。
• 开源隐私核心可提高透明度，并促进更广泛的社区审查，显著提升已部署系统的可信度和可靠性。