[论文解读] DP-EM: Differentially Private Expectation Maximization

Mijung Park, Jimmy Foulds+2 more|UvA-DARE (University of Amsterdam)|May 23, 2016

Privacy-Preserving Technologies in Data被引用 9

一句话总结

该论文提出了 DP-EM，一种使用矩扰动和精细化组合技术（矩会计（MA）与零均值集中差分隐私（zCDP））的差分隐私期望最大化算法，以减少迭代过程中的噪声累积。与标准 DP 方法相比，该方法在严格隐私预算下实现了更高的效用，实证结果表明其在高斯混合模型和因子分析任务中性能更优。

ABSTRACT

The iterative nature of the expectation maximization (EM) algorithm presents a challenge for privacy-preserving estimation, as each iteration increases the amount of noise needed. We propose a practical private EM algorithm that overcomes this challenge using two innovations: (1) a novel moment perturbation formulation for differentially private EM (DP-EM), and (2) the use of two recently developed composition methods to bound the privacy "cost" of multiple EM iterations: the moments accountant (MA) and zero-mean concentrated differential privacy (zCDP). Both MA and zCDP bound the moment generating function of the privacy loss random variable and achieve a refined tail bound, which effectively decrease the amount of additive noise. We present empirical results showing the benefits of our approach, as well as similar performance between these two composition methods in the DP-EM setting for Gaussian mixture models. Our approach can be readily extended to many iterative learning algorithms, opening up various exciting future directions.

研究动机与目标

• 为解决差分隐私迭代算法（如 EM）中的噪声累积问题，其中每次迭代都会增加隐私成本。
• 开发一种适用于完备数据似然属于指数族的模型的实用化私有 EM 框架。
• 通过使用先进的组合方法（MA 和 zCDP）来收紧隐私损失边界，从而减少添加的噪声，提升效用。
• 在高斯混合模型和因子分析上对框架进行实证验证，证明在固定隐私预算下效用的提升。
• 提供一种可推广的方法，用于对其他迭代机器学习算法进行隐私化处理。

提出的方法

• 提出一种矩扰动公式，通过扰动充分统计量（潜变量与可观测变量的矩）来实现隐私保护，避免使用子采样。
• 应用矩会计（MA）与零均值集中差分隐私（zCDP）来约束多次 EM 迭代中的隐私损失。
• 使用 R{\'e}nyi 散度建模隐私损失随机变量的矩生成函数，从而获得更紧的尾部边界并减少噪声。
• 推导出高斯混合模型（MoG）与因子分析（FA）的 DP-EM 算法，通过高斯机制向质心和载荷矩阵添加噪声。
• 采用 zCDP 与 MA 组合方法计算累积隐私预算，相比标准组合定理具有更高的效率。
• 使用归一化组内方差（NICV）与学习组件的可视化检查来评估真实数据集上的效用。

实验结果

研究问题

• RQ1 能否在 EM 中使用矩扰动来保护隐私，而无需依赖数据子采样？
• RQ2 与标准组合方法相比，使用精细化组合方法（MA 与 zCDP）是否能显著减少迭代私有 EM 中的噪声？
• RQ3 在固定隐私预算下，DP-EM 在真实数据集（如 Gowalla 与 Olivetti Faces）上的效用表现如何？
• RQ4 在私有 EM 的背景下，zCDP 是否比 MA 更有效，特别是在降噪能力和计算效率方面？
• RQ5 所提出的 DP-EM 框架能否扩展到 MoG 与 FA 之外的其他迭代学习算法？

主要发现

• 在极小隐私预算 ε=0.01 下，使用 zCDP 组合的 DP-EM 所得的归一化组内方差（NICV）低于使用标准组合的 DPLloyd，表明其性能更优。
• 在某些场景下，zCDP 组合方法优于 MA，且计算更简便，表明其在私有 EM 中更具优势。
• 当 ε=0.3 且 δ=10−4 时，私有因子分析恢复出的人脸组件与非私有版本几乎同样可辨识，表明其效用极高。
• 在 zCDP 与 MA 框架下，GGG 组合（高斯机制结合 zCDP）均优于 LLG（拉普拉斯机制结合标准组合），尤其在降噪方面表现更优。
• 矩扰动方法实现了每次迭代中隐私预算的有效使用，且无需数据子采样，显著提升了实用性。
• 实证结果证实，MA 与 zCDP 在 MoG 的 DP-EM 中表现相近，但 zCDP 在实际中展现出更高的效用与效率。