[论文解读] Differentially Private Sliced Wasserstein Distance

Alain Rakotomamonjy, Liva Ralaivola|arXiv (Cornell University)|Jul 5, 2021

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文通过在 Sliced Wasserstein Distance (SWD) 的随机投影过程中应用高斯机制，提出了一种差异私有的变体，即平滑切片 Wasserstein 距离（GS-WSD）。该方法在保持 SWD 的度量性质和可扩展性的同时，实现了 $(\varepsilon,\delta)$-差异隐私，从而支持生成模型和领域自适应系统的有效隐私保护训练，且精度损失极小。

ABSTRACT

Developing machine learning methods that are privacy preserving is today a central topic of research, with huge practical impacts. Among the numerous ways to address privacy-preserving learning, we here take the perspective of computing the divergences between distributions under the Differential Privacy (DP) framework -- being able to compute divergences between distributions is pivotal for many machine learning problems, such as learning generative models or domain adaptation problems. Instead of resorting to the popular gradient-based sanitization method for DP, we tackle the problem at its roots by focusing on the Sliced Wasserstein Distance and seamlessly making it differentially private. Our main contribution is as follows: we analyze the property of adding a Gaussian perturbation to the intrinsic randomized mechanism of the Sliced Wasserstein Distance, and we establish the sensitivityof the resulting differentially private mechanism. One of our important findings is that this DP mechanism transforms the Sliced Wasserstein distance into another distance, that we call the Smoothed Sliced Wasserstein Distance. This new differentially private distribution distance can be plugged into generative models and domain adaptation algorithms in a transparent way, and we empirically show that it yields highly competitive performance compared with gradient-based DP approaches from the literature, with almost no loss in accuracy for the domain adaptation problems that we consider.

研究动机与目标

• 开发一种差异私有的分布距离，保持切片 Wasserstein 距离（SWD）的可扩展性和度量性质。
• 分析将高斯机制应用于 SWD 中随机投影过程的隐私保障。
• 证明所得机制产生一种新距离——平滑切片 Wasserstein 距离（GS-WSD），其继承了关键的度量性质。
• 实现该私有距离与现有机器学习算法（如生成模型和领域自适应框架）的无缝集成。
• 在低维与高维数据集上（包括 $64 \times 64$ RGB CelebA）实证验证该方法，且在严格隐私预算下表现良好。

提出的方法

• 将高斯机制应用于 Sliced Wasserstein Distance 中的随机投影矩阵 $\mathbf{U}$，在投影数据 $\mathbf{X}\mathbf{U}$ 上添加均值为零的高斯噪声 $\mathbf{V}$。
• 将所得差异私有机制定义为 DP-SWD，将原始 SWD 转换为一种平滑版本，称为高斯平滑切片 Wasserstein 距离（GS-WSD）。
• 通过使用中心极限定理（CLT）和伯恩斯坦不等式近似，界定高斯机制下投影数据的敏感性，从而建立隐私保障。
• 使用基于 CLT 的边界获得更紧致的敏感性估计，使用伯恩斯坦边界实现更保守、与维度无关的控制。
• 将 DP-SWD 损失作为标准分歧度量（如 MMD 或 SWD）的隐私保护替代方案，集成到生成对抗网络（如 GAN）和领域自适应模型中。
• 利用 PyTorch 隐私包校准噪声方差 $\sigma$，以在大规模数据集上实现目标隐私预算 $\varepsilon = 10$，$\delta = 10^{-5}$ 或 $10^{-6}$。

实验结果

研究问题

• RQ1 能否将高斯机制应用于切片 Wasserstein 距离的随机投影步骤，在不损害效用的前提下实现差异隐私？
• RQ2 所得差异私有机制的敏感性是多少？在高维设置下如何界定？
• RQ3 所得私有距离是否保留了真实距离的关键度量性质？能否作为现有机器学习算法中的即插即用替代品？
• RQ4 在生成建模和领域自适应任务中，DP-SWD 的性能与基于梯度的 DP 方法相比如何？
• RQ5 DP-SWD 是否能有效扩展到高维真实世界数据集（如 $64 \times 64$ RGB CelebA）？

主要发现

• DP-SWD 机制在 MNIST 和 FashionMNIST 上实现了 $(\varepsilon,\delta)$-差异隐私，$\varepsilon = 10$，$\delta = 10^{-5}$，在领域自适应任务中精度损失极小。
• 在 MNIST 和 FashionMNIST 上，DP-SWD 在 $\varepsilon=10$，$\delta=10^{-5}$ 下分别实现了 78% 和 66% 的测试准确率，优于 DP-CGAN 和 DP-MERF。
• 在 MNIST 上进行生成建模时，DP-SWD 使用伯恩斯坦边界获得 97 的 Fréchet Inception Distance（FID）分数，而基于 CLT 的边界仅为 158。
• 在 $64 \times 64$ RGB CelebA 数据集上，DP-SWD 在 $\varepsilon=10$，$\delta=10^{-6}$ 下实现 97 的 FID 分数（基于 CLT 为 158），这是该数据集上首次成功实现的 DP 生成模型。
• 所提方法仅需约 18 万参数即可实现 GAN 的隐私保护训练，在 10 分钟内达到具有竞争力的性能；而 GS-WGAN 需要约 400 万参数并耗时数小时。
• DP-SWD 机制将 SWD 转化为一种新距离——高斯平滑切片 Wasserstein 距离，其继承了度量性质，并可即插即用集成到现有机器学习流水线中。