[论文解读] Bayesian Differential Privacy through Posterior Sampling

Christos Dimitrakakis, Blaine Nelson+3 more|arXiv (Cornell University)|Jun 5, 2013

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了一种新颖的框架，通过利用后验抽样实现贝叶斯差分隐私，证明在特定先验条件下，从后验分布中抽样可自然地提供可控效用的差分隐私。主要贡献在于将差分隐私推广至任意数据集度量和分布族，使用莱卡姆方法推导了隐私、效用和可区分性的理论界。

ABSTRACT

Differential privacy formalises privacy-preserving mechanisms that provide access to a database. We pose the question of whether Bayesian inference itself can be used directly to provide private access to data, with no modification. The answer is affirmative: under certain conditions on the prior, sampling from the posterior distribution can be used to achieve a desired level of privacy and utility. To do so, we generalise differential privacy to arbitrary dataset metrics, outcome spaces and distribution families. This allows us to also deal with non-i.i.d or non-tabular datasets. We prove bounds on the sensitivity of the posterior to the data, which gives a measure of robustness. We also show how to use posterior sampling to provide differentially private responses to queries, within a decision-theoretic framework. Finally, we provide bounds on the utility and on the distinguishability of datasets. The latter are complemented by a novel use of Le Cam's method to obtain lower bounds. All our general results hold for arbitrary database metrics, including those for the common definition of differential privacy. For specific choices of the metric, we give a number of examples satisfying our assumptions.

研究动机与目标

• 探究标准贝叶斯推断是否能在不修改数据或算法的情况下，通过后验抽样固有地提供差分隐私。
• 将差分隐私推广至任意数据集度量、输出空间和分布族，包括非独立同分布和非表格型数据。
• 在决策理论框架下，建立隐私（后验分布的敏感性）和效用（数据集可区分性）的理论界。
• 证明后验抽样可在固定隐私预算下生成差分私密的查询响应，同时保持高效率。
• 使用莱卡姆方法推导隐私和效用的上下界，其中下界用于补充隐私的上界。

提出的方法

• 将差分隐私推广至任意数据集度量和分布族，使其适用于非独立同分布和非表格型数据。
• 以后验抽样为核心机制，生成对外部查询的差分私密响应。
• 推导后验分布对输入数据集变化的敏感性界，量化其鲁棒性。
• 采用决策理论框架，选择在隐私约束下最大化效用的响应。
• 使用莱卡姆方法推导数据集可区分性的下界，与隐私的上界形成互补。
• 提供指数族模型、多元正态分布以及具有DAG结构的离散贝叶斯网络的具体示例。

实验结果

研究问题

• RQ1 在合适选择先验的前提下，标准贝叶斯推断通过后验抽样是否能固有地确保差分隐私？
• RQ2 如何将差分隐私推广至非独立同分布和非表格型数据之外的任意数据集度量和分布族？
• RQ3 在使用后验抽样实现私密查询响应时，隐私和效用的理论界是什么？
• RQ4 后验敏感性与数据集可区分性如何与隐私保证相关联？
• RQ5 能否使用莱卡姆方法推导可区分性的下界，以补充隐私的上界？

主要发现

• 在特定先验和模型族条件下，使用合适先验的贝叶斯模型进行后验抽样，无需额外噪声即可实现差分隐私。
• 本文建立了后验隐私损失的上界，表明在温和正则性条件下，对数据变化的敏感性是受控的。
• 对于已知精度矩阵的多元正态分布模型，后验敏感性受特征值和数据差异的函数有界。
• 对于具有DAG结构的离散贝叶斯网络，隐私损失受差异变量值的加权和有界，权重基于节点度数。
• 本文使用莱卡姆方法推导了数据集可区分性的下界，表明隐私与效用本质上受权衡约束。
• 在固定隐私预算下，效用得以保持，后验抽样可在维持差分隐私的同时实现准确的查询响应。