[论文解读] Bayesian inference under differential privacy

Yonghui Xiao, Li Xiong|arXiv (Cornell University)|Mar 3, 2012

Privacy-Preserving Technologies in Data参考文献 23被引用 6

一句话总结

本文提出了一种在差分隐私下系统化的贝叶斯推断机制，利用高斯-马尔可夫定理通过最佳线性无偏估计（BLUE）从历史的差分隐私查询答案中更新后验信念。通过整合可信区间和置信水平，该方法提升了实用性并减少了隐私预算消耗，尤其在有预算限制的系统中表现更优，相较于基线方法在可靠性与准确性方面更具优势。

ABSTRACT

Bayesian inference is an important technique throughout statistics. The essence of Beyesian inference is to derive the posterior belief updated from prior belief by the learned information, which is a set of differentially private answers under differential privacy. Although Bayesian inference can be used in a variety of applications, it becomes theoretically hard to solve when the number of differentially private answers is large. To facilitate Bayesian inference under differential privacy, this paper proposes a systematic mechanism. The key step of the mechanism is the implementation of Bayesian updating with the best linear unbiased estimator derived by Gauss-Markov theorem. In addition, we also apply the proposed inference mechanism into an online queryanswering system, the novelty of which is that the utility for users is guaranteed by Bayesian inference in the form of credible interval and confidence level. Theoretical and experimental analysis are shown to demonstrate the efficiency and effectiveness of both inference mechanism and online query-answering system.

研究动机与目标

• 为解决差分隐私系统中缺乏概率推断机制的问题，特别是缺乏能提供不确定性量化的贝叶斯方法。
• 使用户能够通过可信区间和置信水平指定实用性需求，减少对直接分配隐私预算的依赖。
• 通过从历史噪声响应中推断答案而非发出新的差分隐私查询，延长有预算限制环境下的系统生命周期。
• 开发一种计算高效的推断机制，可扩展至大量历史查询，克服维度灾难问题。
• 将贝叶斯推断集成到在线查询回答系统中，仅在必要时动态分配隐私预算。

提出的方法

• 利用高斯-马尔可夫定理，从一组历史差分隐私查询答案中推导出最佳线性无偏估计（BLUE）。
• 采用两种近似方法——蒙特卡洛（MC）和概率计算（PC）——以估计贝叶斯更新的后验概率函数。
• 使用非信息先验初始化信念，并利用从噪声历史答案中导出的似然函数进行更新。
• 提出一种动态预算分配策略（定理5.3），若推断估计满足用户指定的实用性要求，则避免发出新查询。
• 设计一种在线查询回答系统，其中贝叶斯推断提供可信区间和置信水平，确保实用性且不消耗额外隐私预算。
• 使用分层划分树作为历史查询的来源，以实现在高维设置下的推断。

实验结果

研究问题

• RQ1 贝叶斯推断能否有效应用于差分隐私查询答案，以可信区间和置信水平的形式提供不确定性量化？
• RQ2 当历史查询数量较大时，如何高效计算贝叶斯更新，避免维度灾难？
• RQ3 在有预算限制的系统中，贝叶斯推断在多大程度上可通过用推断估计替代新查询来减少隐私预算消耗？
• RQ4 与传统点估计方法（如OLS）相比，所提方法在准确性和实用性方面表现如何？
• RQ5 系统能否仅在必要时动态分配隐私预算，利用贝叶斯推断满足用户指定的实用性要求？

主要发现

• 在无预算限制环境下，所提方法在可靠性（R_i）方面优于基线方法，相对误差（E）更低，且通过基于推断的查询避免实现了隐私预算节省。
• 在有预算限制环境下，系统通过在预算限制之外推断答案，维持了更高的系统容量（R_a），优于改进的基线系统。
• PC推断方法在准确度（E）和可靠性（R_i）方面优于基于OLS的解决方案，后者未能利用噪声答案的概率结构。
• 该方法通过推迟或消除对新差分隐私查询的需求，减少了隐私预算消耗，前提是推断估计满足用户实用性要求。
• 由于缺乏查询历史，系统在早期阶段性能略有下降，但随着历史数据积累，其代表性增强，性能随之提升。
• 理论与实验结果均证实，所提出的贝叶斯推断机制在效率与有效性方面表现优异，尤其在延长系统寿命和提升实用性方面优势显著。