[论文解读] Differentially Private Markov Chain Monte Carlo

Mikko Heikkilä, Joonas Jälkö+2 more|arXiv (Cornell University)|Jan 29, 2019

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了首个具有非渐近隐私保证的通用差分隐私马尔可夫链蒙特卡洛（DP-MCMC）算法，该算法不依赖于无法验证的收敛假设。通过分解Barker接受测试并利用Rényi差分隐私，该方法实现了在任意模型中的私有后验推断，且通过数据子采样和近似接受测试进一步提升了隐私保护。

ABSTRACT

Recent developments in differentially private (DP) machine learning and DP Bayesian learning have enabled learning under strong privacy guarantees for the training data subjects. In this paper, we further extend the applicability of DP Bayesian learning by presenting the first general DP Markov chain Monte Carlo (MCMC) algorithm whose privacy-guarantees are not subject to unrealistic assumptions on Markov chain convergence and that is applicable to posterior inference in arbitrary models. Our algorithm is based on a decomposition of the Barker acceptance test that allows evaluating the R\'enyi DP privacy cost of the accept-reject choice. We further show how to improve the DP guarantee through data subsampling and approximate acceptance tests.

研究动机与目标

• 开发一种差分隐私MCMC方法，提供严格且非渐近的隐私保证，且独立于马尔可夫链收敛性。
• 克服现有DP贝叶斯方法的局限性，这些方法依赖于精确后验采样或仅适用于特定模型。
• 在无需可微性或连续变量的前提下，实现对任意模型的私有后验推断。
• 通过数据子采样和近似接受测试，改善隐私-准确率权衡。

提出的方法

• 提出一种新颖的DP-MCMC算法，基于Barker接受测试的分解，以评估Rényi差分隐私（RDP）成本。
• 利用RDP框架，提供紧致且可组合的隐私界，且独立于链的收敛性。
• 应用数据子采样以减少隐私损失，并采用校正后的噪声分布以缓解子采样引起的偏差。
• 引入一种近似接受测试，在保持细致平衡的同时降低计算成本。
• 通过幂次退火（power-tempering）实现退火后验，以改善高维空间中的混合与收敛性。
• 利用Rényi散度推导隐私界，并将其转换为（ϵ, δ）-DP保证以供实际应用。

实验结果

研究问题

• RQ1 能否设计一种通用的DP-MCMC算法，实现不依赖于链收敛性的非渐近隐私保证？
• RQ2 在差分隐私下，如何严格量化MCMC中接受-拒绝决策的隐私成本？
• RQ3 能否有效利用数据子采样以减少隐私损失，同时保持准确的后验近似？
• RQ4 如何校正子采样引起的噪声分布，以提高推断准确性？
• RQ5 近似接受测试对隐私和采样效率有何影响？

主要发现

• 所提出的DP-MCMC方法在无需验证后验收敛性的情况下，实现了严格且非渐近的隐私保证。
• 该方法可在任意模型中实现私有后验推断，包括具有离散变量的模型，这与基于梯度的DP-MCMC方法不同。
• 数据子采样可减少隐私损失，且校正后的噪声分布显著提升了相对于简单子采样的准确性。
• 采用Rényi DP可获得比标准DP更紧致的隐私组合界，从而提升实用性。
• 该方法在隐私-效用权衡方面优于现有DP-MCMC方法，尤其在高维和不可微模型中表现更优。
• 实验结果表明，后验方差估计和采样效率得到改善，特别是在结合变分推断进行初始化时效果更显著。