[论文解读] Differential Privacy in a Bayesian setting through posterior sampling

Christos Dimitrakakis, Blaine Nelson+4 more|arXiv (Cornell University)|Jun 5, 2013

Privacy-Preserving Technologies in Data参考文献 26被引用 4

一句话总结

本文提出了一种贝叶斯推断中的后验抽样机制，通过将微分隐私推广到任意数据集距离、输出空间和分布族，实现了统一的隐私和效用保障。在强对抗模型下，证明了有限样本的隐私界，表明简单的后验抽样本质上可提供鲁棒的、差分私有的推断，而无需修改贝叶斯框架。

ABSTRACT

We examine the robustness and privacy properties of Bayesian inference, under assumptions on the prior. With no modifications to the Bayesian framework, we show that a simple posterior sampling algorithm results in uniform utility and privacy guarantees. In more detail, we generalise the concept of differential privacy to arbitrary dataset distances, outcome spaces and distribution families. We then prove bounds on the robustness of the posterior, introduce a posterior sampling mechanism, show that it is differentially private and provide finite sample bounds for distinguishability-based privacy under a strong adversarial model. Finally, we give examples satisfying our assumptions.

研究动机与目标

• 研究在先验假设下贝叶斯推断的隐私与鲁棒性特性。
• 将微分隐私从标准度量推广至任意数据集距离和分布族。
• 证明后验抽样在不修改贝叶斯框架的前提下，天然提供差分隐私。
• 在强对抗模型下，建立基于可区分性的隐私的有限样本界。
• 提供满足所提假设的具体实例，说明该框架的适用性。

提出的方法

• 基于分布族，构建一个灵活的框架，将微分隐私推广至任意数据集距离和输出空间。
• 在先验的温和假设下，证明后验分布对数据集扰动的鲁棒性界。
• 引入一种后验抽样机制，直接从后验分布输出私有估计。
• 基于后验似然比，推导数据集可区分性的有限样本界。
• 采用强对抗模型，限制攻击者基于输出区分两个数据集的概率。
• 将该框架应用于具体实例，以验证理论界和假设。

实验结果

研究问题

• RQ1 在贝叶斯背景下，微分隐私能否在超越标准度量的前提下，有意义地推广至任意数据集距离和输出空间？
• RQ2 在温和先验假设下，贝叶斯推断中的后验抽样是否天然提供差分隐私？
• RQ3 在强对抗模型下，基于可区分性的隐私可建立怎样的有限样本界？
• RQ4 后验的鲁棒性如何与抽样机制的隐私保障相关联？
• RQ5 哪些统计模型类别满足所提隐私与效用保障所需的假设？

主要发现

• 在温和先验假设下，后验抽样可对所有数据集提供统一的隐私与效用保障。
• 本文将微分隐私推广至任意数据集距离和输出空间，扩展了其在标准设定之外的适用性。
• 推导出可区分性的有限样本界，表明攻击者区分两个数据集的概率受后验似然比函数的有界性约束。
• 所提机制在不修改贝叶斯推断过程的前提下实现差分隐私，仅依赖后验抽样。
• 通过满足必要假设的实例验证了理论界，展示了实际可行性。
• 后验分布的鲁棒性与隐私之间建立了正式关联，表明数据的微小变化仅导致后验输出分布的有界变化。