[论文解读] Data Augmentation MCMC for Bayesian Inference from Privatized Data

Nianqiao Ju, Jordan Awan+2 more|arXiv (Cornell University)|Jun 1, 2022

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本文提出了一种新颖的基于数据增强的MCMC框架，用于从差分隐私数据中实现精确贝叶斯推断，通过联合抽样模型参数和未观测到的机密数据。通过利用隐私机制的结构，该方法即使在由于对机密数据库的高维积分导致边际似然不可计算时，也能实现高效且精确的后验抽样，无需近似。

ABSTRACT

Differentially private mechanisms protect privacy by introducing additional randomness into the data. Restricting access to only the privatized data makes it challenging to perform valid statistical inference on parameters underlying the confidential data. Specifically, the likelihood function of the privatized data requires integrating over the large space of confidential databases and is typically intractable. For Bayesian analysis, this results in a posterior distribution that is doubly intractable, rendering traditional MCMC techniques inapplicable. We propose an MCMC framework to perform Bayesian inference from the privatized data, which is applicable to a wide range of statistical models and privacy mechanisms. Our MCMC algorithm augments the model parameters with the unobserved confidential data, and alternately updates each one conditional on the other. For the potentially challenging step of updating the confidential data, we propose a generic approach that exploits the privacy guarantee of the mechanism to ensure efficiency. We give results on the computational complexity, acceptance rate, and mixing properties of our MCMC. We illustrate the efficacy and applicability of our methods on a naïve-Bayes log-linear model as well as on a linear regression model.

研究动机与目标

• 为解决在仅获得差分隐私数据时进行有效贝叶斯推断的挑战，由于对机密数据库的高维积分导致边际似然不可计算。
• 开发一种通用的MCMC算法，直接针对精确后验分布 $ p(\theta \mid s_{\text{dp}}) $，即使在双重不可计算（doubly intractable）情形下也无需近似。
• 使实践者能够将现有用于非隐私数据的MCMC抽样器作为封装器用于隐私数据，同时保持统计有效性与不确定性量化。
• 在参数空间和样本空间有界假设下，建立抽样器的计算效率与几何遍历性。
• 在真实世界模型（如线性回归和对数线性模型）下，展示该方法在差分隐私条件下的有效性。

提出的方法

• 该方法采用一种在吉布斯抽样框架内的Metropolis-within-Gibbs MCMC抽样器，交替更新模型参数 $ \theta $ 和未观测到的机密数据 $ x $，条件于隐私化输出 $ s_{\text{dp}} $。
• 在更新 $ x \mid \theta, s_{\text{dp}} $ 时，设计了一种通用提议，利用隐私机制的结构以确保高接受率和高效混合。
• 该算法利用已知的隐私保障（例如 $ \epsilon $-DP）来控制 $ x $ 各分量之间的相关性，从而提升混合效率。
• 直接针对联合后验 $ p(\theta, x \mid s_{\text{dp}}) $，避免对所有可能的机密数据库进行不可计算的边际化。
• 该框架具有模块化特性：可封装现有用于 $ p(\theta \mid x) $ 的MCMC抽样器，使用户无需重新设计即可复用成熟的推断工具。
• 理论结果表明，在 $ \Theta $ 和 $ \mathbb{X} $ 有界假设下，吉布斯抽样器具有几何遍历性，从而确保收敛性。

实验结果

研究问题

• RQ1 当由于对机密数据库的高维积分导致边际似然不可计算时，能否在差分隐私数据上实现精确贝叶斯推断？
• RQ2 如何利用隐私机制的结构来设计针对未观测到的机密数据的高效MCMC提议？
• RQ3 能否将用于非隐私数据的现有MCMC抽样器作为封装器用于隐私数据，而不会损失准确性或效率？
• RQ4 在参数空间和样本空间有界条件下，所提出的基于数据增强的MCMC框架的计算性能与混合特性如何？
• RQ5 该方法在真实统计模型（如线性回归和对数线性模型）下，于差分隐私条件下的实际表现如何？

主要发现

• 所提出的MCMC框架实现了对 $ \theta \mid s_{\text{dp}} $ 的精确后验抽样，无需依赖近似或渐近假设。
• 在有界性假设下，该方法确保了高接受率与几何遍历性，从而实现可靠的收敛。
• 在线性回归模型中，$ \beta $ 的后验均值在不同隐私水平 $ \epsilon $ 下均紧密跟踪真实机密后验均值，且在100次独立的隐私输出中趋势稳定。
• 该算法可同时生成多个关于机密数据 $ x \mid s_{\text{dp}} $ 的后验预测抽样，对原始数据的下游推断具有实用价值。
• 该框架计算高效且可扩展，在线性回归示例中，当 $ \theta $ 通过共轭先验更新时，运行时间与 $ n $ 呈线性关系。
• 该方法对预测变量和响应变量的截断（clamping）具有鲁棒性，在支持有界的情况下仍能保持一致的推断趋势。