[论文解读] Differentially Private Bayesian Linear Regression

Garrett Bernstein, Daniel Sheldon|arXiv (Cornell University)|Oct 29, 2019

Bayesian Methods and Mixture Models被引用 24

一句话总结

本文提出了一种噪声感知的贝叶斯线性回归方法，能够考虑充分统计量中由隐私保护引入的噪声，利用MCMC从受扰动的统计量中采样后验分布。与朴素方法不同，该方法保持了准确的不确定性量化，并在合成数据和真实世界数据上均优于基线方法，在校准性和实用性方面表现更优。

ABSTRACT

Linear regression is an important tool across many fields that work with sensitive human-sourced data. Significant prior work has focused on producing differentially private point estimates, which provide a privacy guarantee to individuals while still allowing modelers to draw insights from data by estimating regression coefficients. We investigate the problem of Bayesian linear regression, with the goal of computing posterior distributions that correctly quantify uncertainty given privately released statistics. We show that a naive approach that ignores the noise injected by the privacy mechanism does a poor job in realistic data settings. We then develop noise-aware methods that perform inference over the privacy mechanism and produce correct posteriors across a wide range of scenarios.

研究动机与目标

• 为解决在忽略隐私噪声时，朴素差分隐私贝叶斯线性回归校准性差的问题。
• 开发能够正确处理充分统计量扰动（SSP）引入噪声的推理方法。
• 在不依赖MCMC或变分推理中每轮迭代的隐私成本的前提下，实现校准良好的后验分布。
• 通过边际化个体并基于协变量分布的矩假设，降低计算成本。
• 在小到中等样本规模下，与朴素SSP相比，展现出更优的校准性和实用性。

提出的方法

• 采用充分统计量扰动（SSP）作为隐私机制，在贝叶斯推理前向充分统计量中注入噪声。
• 采用基于MCMC的采样方法，从给定噪声充分统计量中推断回归参数的后验分布。
• 提出两种推理方法：一种包含个体水平潜在协变量（MCMC-Ind），需对协变量施加完整先验；另一种（Gibbs-SS）则边际化个体，仅使用协变量分布的矩。
• 对参数和方差施加联合先验，并使用共轭先验以在噪声条件下实现高效的后验更新。
• 实现NormProduct子程序，用于计算涉及噪声充分统计量的后验矩，其时间复杂度在维度$d$上为立方级。
• 使用Gibbs采样迭代更新参数和噪声分量，确保来自隐私机制的不确定性被正确传播。

实验结果

研究问题

• RQ1 在现实的有限样本设置下，基于朴素SSP的贝叶斯推理是否无法校准不确定性？
• RQ2 在差分隐私贝叶斯线性回归中，基于MCMC的推理能否在隐私机制上产生校准良好的后验分布？
• RQ3 与朴素SSP相比，噪声感知方法在后验校准性和预测实用性方面的表现如何？
• RQ4 通过边际化个体并仅使用协变量的矩假设，能否实现可扩展的推理？
• RQ5 数据规模和隐私预算对私有后验分布校准性的影响是什么？

主要发现

• 朴素SSP方法在小到中等样本规模下系统性地低估不确定性，导致后验校准性差。
• 噪声感知方法如Gibbs-SS-Noisy在真实世界数据上实现的校准性几乎与非私有贝叶斯回归相当，50%和90%可信区间展现出接近正确的覆盖率。
• Gibbs-SS方法的运行时间与总体规模无关，而MCMC-Ind方法随规模线性增长，在$n=100$以上时变得不可行。
• 噪声感知后验与非私有后验之间的MMD（最大均值差异）至少不差于朴素方法，表明其具有更优的实用性。
• Gibbs-SS-Noisy在真实数据上实现了优于朴素SSP的预测不确定性量化，且无需显式数据先验。
• 由于协方差结构中矩阵求逆的影响，该方法的计算成本为$O(d^6)$，但对于$d \approx 100$仍保持可行。