[论文解读] Differentially Private Bayesian Inference for Exponential Families

Garrett Bernstein, Daniel Sheldon|arXiv (Cornell University)|Sep 6, 2018

Privacy-Preserving Technologies in Data被引用 23

一句话总结

本文提出了一种新颖的吉布斯采样方法，用于指数族模型中的差分隐私贝叶斯推断，通过将隐私化充分统计量的发布与后验推断解耦。通过变量扩展建模充分统计量中的拉普拉斯噪声，该方法在非渐近情形下实现了正确校准的后验分布，其校准性和效用性优于现有方法，同时通过后处理性质保持了隐私性。

ABSTRACT

The study of private inference has been sparked by growing concern regarding the analysis of data when it stems from sensitive sources. We present the first method for private Bayesian inference in exponential families that properly accounts for noise introduced by the privacy mechanism. It is efficient because it works only with sufficient statistics and not individual data. Unlike other methods, it gives properly calibrated posterior beliefs in the non-asymptotic data regime.

研究动机与目标

• 解决在非渐近情形下，指数族模型中缺乏正确校准的隐私化贝叶斯推断的问题。
• 开发一种高效的推断算法，正确考虑充分统计量中由隐私机制引入的噪声。
• 确保后验分布能反映由数据和隐私机制共同引起的不确定性，而不仅仅是数据引起的不确定性。
• 实现在不访问个体数据的前提下实现隐私化贝叶斯推断，仅依赖于充分统计量。
• 提供一种通用、可扩展的方法，适用于具有有界或截断充分统计量的单变量和多变量指数族。

提出的方法

• 该方法使用拉普拉斯机制作为隐私发布机制，发布带有噪声的充分统计量，以确保差分隐私。
• 提出一种新颖的吉布斯采样器，通过变量扩展将参数与充分统计量的联合后验分布建模，将拉普拉斯噪声纳入其中。
• 该算法利用截断指数族与随机和中心极限定理推导出的正态分布来近似充分统计量的分布。
• 利用自动微分计算正态近似的参数，当截断边界内的数据点数量未知时仍能有效处理。
• 推断过程对充分统计量进行积分而非对单个数据点积分，从而实现计算效率。
• 通过计算关于隐私输出 $ y $ 的后验 $ p(\theta \mid y) $ 而非原始数据 $ x $，确保了校准性。

实验结果

研究问题

• RQ1 当存在隐私噪声时，能否在非渐近情形下实现隐私化贝叶斯推断的校准？
• RQ2 如何设计一种通用吉布斯采样器，以处理指数族中充分统计量的拉普拉斯噪声？
• RQ3 截断对无界指数族中充分统计量的影响是什么？如何有效建模？
• RQ4 与朴素隐私化方法和现有隐私后验采样方法相比，所提方法在校准性和效用性方面表现如何？
• RQ5 该推断过程能否在避免访问个体数据的同时保持隐私性并实现高实用性？

主要发现

• 所提出的吉布斯采样器在所有测试模型（伯努利、多项式、指数分布）中，所有 $ n $ 和 $ \epsilon $ 取值下均实现了完美校准，其科莫戈罗夫-斯米尔诺夫统计量趋近于零。
• 朴素方法将带噪声的充分统计量视为精确值，在非渐近情形下表现过度自信且校准性差，仅在 $ n $ 较大或 $ \epsilon $ 较高时有所改善。
• OPS（最优后验采样）产生过度离散的后验分布，导致校准性差，真实参数常位于后验尾部。
• 在伯努利和多项式模型中，所提方法在与非隐私后验的MMD距离度量下，效用性与朴素方法相当或更优。
• 对于指数分布模型，尽管缺乏公平基线，该方法仍保持优异性能，其效用性始终优于利用截断优势的朴素方法。
• 在所评估的方法中，该方法是唯一在非渐近情形下正确量化由数据和隐私机制共同引起的不确定性的方法。