[论文解读] Bayesian Pseudo Posterior Mechanism under Asymptotic Differential Privacy

Terrance D. Savitsky, Matthew R. Williams+1 more|arXiv (Cornell University)|Sep 25, 2019

Privacy-Preserving Technologies in Data参考文献 16被引用 8

一句话总结

本文提出了一种贝叶斯伪后验机制，通过基于数据记录索引的权重对高风险记录进行手术式降权，从而在渐近差分隐私下提升合成数据的效用。该方法在保证 $(\epsilon,\pi)$-概率差分隐私的同时，实现了优于指数机制的效用，且 $\pi$ 随样本量增加渐近收缩至 0。

ABSTRACT

We propose a Bayesian pseudo posterior mechanism to generate record-level synthetic databases equipped with an $(ε,δ)-$ probabilistic differential privacy (pDP) guarantee, where $δ$ denotes the probability that any observed database exceeds $ε$. The pseudo posterior mechanism employs a data record-indexed, risk-based weight vector with weight values $\in [0, 1]$ that surgically downweight the likelihood contributions for high-risk records for model estimation and the generation of record-level synthetic data for public release. The pseudo posterior synthesizer constructs a weight for each data record using the Lipschitz bound for that record under a log-pseudo likelihood utility function that generalizes the exponential mechanism (EM) used to construct a formally private data generating mechanism. By selecting weights to remove likelihood contributions with non-finite log-likelihood values, we guarantee a finite local privacy guarantee for our pseudo posterior mechanism at every sample size. Our results may be applied to \emph{any} synthesizing model envisioned by the data disseminator in a computationally tractable way that only involves estimation of a pseudo posterior distribution for parameters, $θ$, unlike recent approaches that use naturally-bounded utility functions implemented through the EM. We specify mild conditions that guarantee the asymptotic contraction of $δ$ to $0$ over the space of databases. We illustrate our pseudo posterior mechanism on the sensitive family income variable from the Consumer Expenditure Surveys database published by the U.S. Bureau of Labor Statistics. We show that utility is better preserved in the synthetic data for our pseudo posterior mechanism as compared to the EM, both estimated using the same non-private synthesizer, due to our use of targeted downweighting.

研究动机与目标

• 开发一种计算上可行的方法，用于生成具有正式隐私保证的记录级合成数据库。
• 通过实现对高风险记录的针对性降权，解决合成数据生成中隐私与效用之间的权衡问题。
• 提供渐近的 $(\epsilon,\pi)$-概率差分隐私保证，其中 $\pi$ 随样本量增加而收缩至 0。
• 将任意非私有合成器扩展为形式化私有机制，而无需修改其核心采样过程。
• 通过移除对数似然值非有限的似然贡献，确保在每个样本量下均具有有限的局部隐私保证。

提出的方法

• 构建一个基于数据记录索引的权重向量 $\bm{\alpha} \in [0,1]^n$，以降低高风险记录在似然贡献中的权重。
• 使用对数伪似然效用函数计算每个记录的局部利普希茨界 $\Delta_{\bm{\alpha},\mathbf{x}}$，从而实现隐私量化。
• 对权重分布进行缩放（$c<1$）和偏移（$g<0$），随后进行截断，以确保所有权重保持在 $[0,1]$ 范围内。
• 采用伪后验分布 $p(\theta \mid \mathbf{x}, \bm{\alpha}) \propto \prod_{i=1}^n f_\theta(x_i)^{\alpha_i} \times p(\theta)$ 进行参数估计。
• 引入截断规则：若 $\alpha_i \times f_\theta(x_i) > M$，则 $\alpha^*_i = 0$，其中 $M$ 为全局收缩点。
• 推导局部隐私保证为 $\epsilon_{\mathbf{x}} = 2 \times \Delta_{\bm{\alpha},\mathbf{x}} \times m$，其中 $m=20$ 为生成合成数据库的后验抽样次数。

实验结果

研究问题

• RQ1 能否构建一种伪后验机制，在保持比现有方法更高数据效用的同时，提供正式的隐私保证？
• RQ2 如何量化记录级风险，并以何种方式实现仅对高风险记录的降权，同时保持计算上的可处理性？
• RQ3 在何种条件下可确保概率 $\pi$（即任意数据库超过 $\epsilon$ 的概率）随样本量增加而渐近收缩至零？
• RQ4 与指数机制中使用的标量降权相比，对高风险记录进行针对性降权在多大程度上提升了效用？
• RQ5 所提出的机制是否可应用于任意非私有合成器模型，而无需修改其后验采样方案？

主要发现

• 在所有配置下，$\bm{\alpha}$-加权伪后验机制使局部隐私保证 ($\Delta_{\bm{\alpha},\mathbf{x}}$) 降低了 80%，从无权重时的 78.7 降至 2.25。
• 在所有 $(c,g)$ 配置下，伪后验机制下合成收入值的第 90 百分位数表现出比指数机制更平缓的退化趋势。
• 通过排除对数似然值非有限的贡献，该机制在每个样本量下均能保证有限的局部隐私保证。
• 超过 $\epsilon$ 的概率 $\pi$ 随样本量增加而渐近收缩至 0，满足 $(\epsilon,\pi)$-概率差分隐私保证。
• 由于仅对高风险记录进行手术式降权而非整体缩放，该方法比指数机制更有效地保持了数据效用。
• 该方法可仅通过最小修改即实现将任意非私有合成器转换为私有机制，且其后验采样过程保持不变。