[论文解读] Differential Privacy for Growing Databases

Rachel Cummings, Sara Krehbiel+2 more|arXiv (Cornell University)|Mar 16, 2018

Privacy-Preserving Technologies in Data参考文献 14被引用 5

一句话总结

本论文提出了一套新颖的差分隐私算法，用于对随时间动态增长的数据库进行自适应分析。它提出了两种通用技术——BBScheduler 和 BBImprover，可将静态隐私算法适配到动态环境，在数据无界增长下保持隐私和准确性的要求；并设计了一种专用算法 PMWG，将隐私乘法权重方法扩展至动态设置，实现静态级别准确性的长期维持。

ABSTRACT

We study the design of differentially private algorithms for adaptive analysis of dynamically growing databases, where a database accumulates new data entries while the analysis is ongoing. We provide a collection of tools for machine learning and other types of data analysis that guarantee differential privacy and accuracy as the underlying databases grow arbitrarily large. We give both a general technique and a specific algorithm for adaptive analysis of dynamically growing databases. Our general technique is illustrated by two algorithms that schedule black box access to some algorithm that operates on a fixed database to generically transform private and accurate algorithms for static databases into private and accurate algorithms for dynamically growing databases. These results show that almost any private and accurate algorithm can be rerun at appropriate points of data growth with minimal loss of accuracy, even when data growth is unbounded. Our specific algorithm directly adapts the private multiplicative weights algorithm to the dynamic setting, maintaining the accuracy guarantee of the static setting through unbounded data growth. Along the way, we develop extensions of several other differentially private algorithms to the dynamic setting, which may be of independent interest for future work on the design of differentially private algorithms for growing databases.

研究动机与目标

• 为解决在数据持续累积的动态增长数据库中，自适应分析缺乏差分隐私算法的问题。
• 开发通用的转换技术，将任意私密且准确的静态算法转化为适用于增长型数据库的算法，且准确率损失最小。
• 设计一种专用算法 PMWG，直接将隐私乘法权重方法适配至动态环境，同时在无界数据增长下保持其准确率保证。
• 为通用与专用方法在动态数据库环境下的形式化隐私与准确率保证提供理论支持。

提出的方法

• BBScheduler 定期对增长型数据库重新运行一个黑箱私密算法，通过指数递减的隐私参数控制总隐私损失。
• BBImprover 在每次数据更新后运行黑箱算法，通过自适应噪声缩放和组合界保持隐私。
• PMWG 算法动态维护一个公开直方图，并使用感知噪声的查询路由机制，高效区分并处理‘困难’查询。
• 推导出一个新的相对熵界（引理15），以控制随着数据增长，真实数据库与公开直方图之间统计差异的增加。
• 该算法使用一个子程序 Numeric Sparse，其具备差分隐私性，并返回 $α/3$-准确的答案，以确保整体准确率。
• 通过组合定理证明隐私与准确率，噪声参数根据数据库规模和随时间变化的查询负载进行校准。

实验结果

研究问题

• RQ1 现有的静态数据库差分隐私算法能否被通用地适配至无界数据增长的动态环境中？
• RQ2 何种调度策略可同时确保差分隐私与时间无关的准确率，以实现对增长型数据库的自适应分析？
• RQ3 能否将隐私乘法权重算法扩展至动态环境，同时保持其准确率保证？
• RQ4 在动态数据库中，‘困难’查询的数量如何随时间增长？是否可对其进行有界控制以维持准确率？
• RQ5 在动态差分隐私分析中，查询预算、隐私参数与准确率之间的权衡关系如何？

主要发现

• BBScheduler 确保 $(\epsilon,0)$-差分隐私，并实现与总查询数无关的动态准确率 $\alpha_d = O\left(\frac{\log N \log k}{\epsilon n}\right)^{1/5}$。
• BBImprover 在时间无关的查询预算下提供隐私与准确率保证，其准确率随查询预算对数下降。
• PMWG 算法在无界数据增长下仍保持与静态隐私乘法权重方法相同的准确率，准确率为 $\alpha = O\left(\frac{\log(Nn)\log(\kappa n/\beta)}{n\epsilon}\right)^{1/3}$。
• PMWG 在时间 $t$ 前回答的困难查询数量被限制为 $\sum_{\tau=n}^{t} h_\tau \leq \frac{36}{\alpha^2}\left(\log N + \sum_{\tau=n+1}^{t} \left(\frac{\log N}{\tau} + \frac{\log(\tau-1)}{\tau} + \log(\frac{\tau}{\tau-1})\right)\right)$。
• 对于 $(\epsilon,\delta)$-差分隐私，PMWG 实现 $\alpha = O\left(\frac{\log^{1/2}(Nn)\log(\kappa n/\beta)\log^{1/2}(1/\delta)}{n\epsilon}\right)^{1/2}$，表明当 $\delta > 0$ 较小时准确率可进一步提升。