[论文解读] Exact Inference with Approximate Computation for Differentially Private Data via Perturbations

Ruobin Gong|arXiv (Cornell University)|Sep 26, 2019

Statistical Methods and Bayesian Inference被引用 4

一句话总结

本文提出了一种模块化框架，通过将近似计算方法——近似贝叶斯计算（ABC）和蒙特卡洛期望最大化（MCEM）——的调参与底层的隐私扰动机制对齐，实现在差分隐私数据上的精确贝叶斯和似然推断。关键贡献在于，除蒙特卡洛误差外，推断结果在分析者的统计模型与数据 curator 的隐私机制的联合模型下是精确的。

ABSTRACT

This paper discusses how two classes of approximate computation algorithms can be adapted, in a modular fashion, to achieve exact statistical inference from differentially private data products. Considered are approximate Bayesian computation for Bayesian inference, and Monte Carlo Expectation-Maximization for likelihood inference. Up to Monte Carlo error, inference from these algorithms is exact with respect to the joint specification of both the analyst's original data model, and the curator's differential privacy mechanism. Highlighted is a duality between approximate computation on exact data, and exact computation on approximate data, which can be leveraged by a well-designed computational procedure for statistical inference.

研究动机与目标

• 在无需对联合后验或似然函数进行解析重新推导的前提下，实现从差分隐私数据产品中进行精确统计推断。
• 解决当数据因差分隐私而被扰动时进行有效推断的挑战，特别是当隐私机制复杂或未知时。
• 建立在精确数据上进行近似计算与在近似数据上进行精确计算之间的对偶性，利用隐私机制的透明性。
• 提供一种计算上可行且理论严谨的方法，在差分隐私下保持统计有效性。
• 确保当隐私机制涉及截断或后处理时，推断依然有效，前提是该机制保持透明。

提出的方法

• 通过使用与数据发布中所用隐私扰动机制完全匹配的核函数和带宽，对近似贝叶斯计算（ABC）进行改进。
• 在 ABC 中采用拒绝采样算法，其中合成数据根据其与已扰动数据的接近程度被接受，且核函数与隐私机制的噪声分布相关联。
• 在蒙特卡洛期望最大化（MCEM）框架内使用重要性采样，从已扰动数据中估计最大似然参数，以隐私机制的概率密度作为提议分布。
• 确保后验或似然近似在原始数据模型与差分隐私机制的联合模型下是精确的。
• 依赖于隐私机制条件密度 $\eta_{\text{dp}}(\boldsymbol{s}_{\text{dp}} \mid \cdot)$ 的透明性，该密度必须在数学上可处理，方法才能成立。
• 设计算法时，使调参（如核带宽、重要性权重）显式与隐私机制对齐，从而在数据被扰动的情况下实现精确推断。

实验结果

研究问题

• RQ1 能否将 ABC 和 MCEM 等近似计算方法进行调整，以实现从差分隐私数据中进行精确统计推断？
• RQ2 如何利用隐私机制的扰动结构，确保推断在数据模型与隐私机制的联合模型下保持精确？
• RQ3 使用这些近似计算方法实现精确推断，对隐私机制（如透明性、噪声形式）有何必要条件？
• RQ4 在精确数据上进行近似计算与在近似数据上进行精确计算之间的对偶性，如何指导隐私感知推断程序的设计？
• RQ5 当隐私机制涉及截断或后处理时，这些方法在计算和统计上的局限性是什么？

主要发现

• 当核函数和带宽与隐私扰动机制匹配时，所提出的 ABC 算法可从真实后验分布中生成独立同分布样本。
• 在 MCEM 框架中使用重要性采样的方法，若隐私机制的概率密度透明且可解析获得，则可实现联合模型下的精确似然推断。
• 该方法在蒙特卡洛误差范围内实现精确推断，意味着推断结果在统计上对原始数据模型和 curator 的隐私机制均有效。
• 该方法具有模块化特性，无需对联合模型进行解析重新推导，可复用现有的 ABC 和 MCEM 实现来处理差分隐私数据。
• ABC 的性能对先验-数据冲突敏感；当先验分布宽泛或与观测数据冲突时，接受率较低，需在后验密度高区域投入更多采样努力。
• 该方法的可行性关键取决于隐私机制的透明性；若截断或后处理使机制密度变得模糊，则会破坏方法的有效性。