[论文解读] Differentially Private Gaussian Processes

Michael Thomas Smith, Max Zwiessele+1 more|arXiv (Cornell University)|Jun 2, 2016

Gaussian Processes and Bayesian Inference参考文献 21被引用 8

一句话总结

本文提出了一种差异私密高斯过程回归方法，可在保护训练输出的同时保持预测准确性。通过设计一种针对测试点相关性的噪声协方差结构，该遮蔽方法比标准方法更有效地减少DP噪声，在真实世界数据的实验中显著降低了RMSE。

ABSTRACT

A major challenge for machine learning is increasing the availability of data while respecting the privacy of individuals. Here we combine the provable privacy guarantees of the differential privacy framework with the flexibility of Gaussian processes (GPs). We propose a method using GPs to provide differentially private (DP) regression. We then improve this method by crafting the DP noise covariance structure to efficiently protect the training data, while minimising the scale of the added noise. We find that this cloaking method achieves the greatest accuracy, while still providing privacy guarantees, and offers practical DP for regression over multi-dimensional inputs. Together these methods provide a starter toolkit for combining differential privacy and GPs.

研究动机与目标

• 解决在保持预测准确性的同时保护高斯过程回归中敏感训练输出的挑战。
• 开发一种为GP回归提供可证明的差异私密性保证的方法，尤其当输出（如收入、受害者详情）为敏感信息时。
• 通过利用测试点预测的相关性结构，降低实现隐私所需的DP噪声规模。
• 为使用GP进行非参数回归应用差异私密性提供实用工具包。
• 探索使用诱导点和自适应噪声缩放进一步降低隐私成本的可行性。

提出的方法

• 该方法使用高斯机制向GP后验均值添加DP噪声，噪声规模受均值对训练输出变化的敏感性约束。
• 提出一种新颖的遮蔽方法，基于已知的测试点位置构建噪声协方差结构，以最小化预测间的敏感性。
• 通过利用测试点之间的相关性，优化噪声协方差以减少扰动，同时保持(ε, δ)-差异私密性。
• 该方法假设训练输入是公开的，因此可以安全发布GP核函数和协方差结构而不损害隐私。
• 该方法支持任意平稳和非平稳核函数，且无需假设平稳性。
• 支持通过从污染后的GP后验中采样或通过符合DP要求的服务器响应任意查询来发布预测结果。

实验结果

研究问题

• RQ1 当训练输出为敏感信息时，如何有效将差异私密性应用于高斯过程回归？
• RQ2 能否通过结构化噪声协方差降低GP预测对训练输出扰动的敏感性？
• RQ3 所提出的遮蔽方法与标准DP方法（如使用拉普拉斯噪声的分箱法）相比性能如何？
• RQ4 基于数据密度和长度尺度的自适应噪声缩放能否降低整体隐私成本？
• RQ5 使用诱导点在降低敏感性和DP噪声方面有何影响？

主要发现

• 遮蔽方法在中等到高隐私预算（ε > 1）下，相比简单的拉普拉斯噪声分箱法，显著降低了RMSE。
• 在无DP情况下，短长度尺度的遮蔽方法因能捕捉精细空间结构而提供最准确的预测。
• 简单分箱法在DP噪声增加时迅速退化，尤其在低占用率分箱中，因分箱均值方差过高而表现差。
• 遮蔽方法通过利用测试点间的相关性减少DP噪声，从而实现更准确且符合隐私保护的预测。
• 即使在ε值较小时，该方法结合较长长度尺度依然有效，因为更长的长度尺度允许更多平均，从而降低敏感性。
• 使用非平稳长度尺度或对每个输出自适应噪声可进一步降低隐私成本，同时保持预测精度。