[论文解读] Differentially Private Regression and Classification with Sparse Gaussian Processes

Michael Thomas Smith, Mauricio A. Álvarez+1 more|arXiv (Cornell University)|Sep 19, 2019

Privacy-Preserving Technologies in Data参考文献 26被引用 4

一句话总结

本文提出了一种基于稀疏近似和改进优化的差分隐私高斯过程回归与分类框架。它通过减少对异常值的敏感性、利用诱导点实现高维分类，并引入基于指数机制的私有超参数选择方法，解决了先前工作的局限性，实现了稳健的隐私保护和准确的预测。

ABSTRACT

A continuing challenge for machine learning is providing methods to perform computation on data while ensuring the data remains private. In this paper we build on the provable privacy guarantees of differential privacy which has been combined with Gaussian processes through the previously published \emph{cloaking method}. In this paper we solve several shortcomings of this method, starting with the problem of predictions in regions with low data density. We experiment with the use of inducing points to provide a sparse approximation and show that these can provide robust differential privacy in outlier areas and at higher dimensions. We then look at classification, and modify the Laplace approximation approach to provide differentially private predictions. We then combine this with the sparse approximation and demonstrate the capability to perform classification in high dimensions. We finally explore the issue of hyperparameter selection and develop a method for their private selection. This paper and associated libraries provide a robust toolkit for combining differential privacy and GPs in a practical manner.

研究动机与目标

• 解决先前差分隐私高斯过程方法对异常值和高维数据的脆弱性。
• 通过改进的拉普拉斯近似，将差分隐私学习从回归扩展到分类。
• 开发一种与差分隐私兼容的私有超参数优化策略。
• 通过稀疏近似实现高维数据集上私有高斯过程的实际部署。
• 在保持预测准确性的前提下，确保可证明的隐私保障。

提出的方法

• 引入非平稳核函数以减少后验均值预测中异常值的影响。
• 使用诱导点进行稀疏高斯过程近似，以提升高维和低密度区域的可扩展性和鲁棒性。
• 通过扰动优化目标，对分类任务中的拉普拉斯近似进行修改，以确保差分隐私。
• 使用差分隐私的指数机制，通过在模型配置上进行网格搜索，实现私有超参数选择。
• 将稀疏近似与私有分类框架集成，实现在高维设置下的高效私有推理。
• 通过向后验均值和优化步骤添加校准噪声，保持隐私，确保(ε, δ)-差分隐私。

实验结果

研究问题

• RQ1 鉴于该领域尚无先前工作，如何有效将差分隐私应用于高斯过程分类？
• RQ2 稀疏高斯过程近似是否能提升高维和异常值敏感区域中差分隐私回归的鲁棒性？
• RQ3 非平稳核函数对私有预测结果受异常值影响的敏感性有何影响？
• RQ4 如何在不损害模型隐私保障的前提下实现超参数的私有选择？
• RQ5 稀疏近似与私有优化的结合在高维分类任务中在多大程度上保持了预测准确性？

主要发现

• 稀疏高斯过程近似显著降低了异常值对私有预测的影响，提升了低密度区域的稳定性。
• 所提出的基于改进拉普拉斯近似的私有分类方法，在使用较少训练样本时仍能实现有用的预测准确性。
• 通过指数机制实现的私有超参数选择成功识别出高性能配置，前四名配置的概率均高于0.023。
• 该方法在所有组件（包括模型训练和超参数调优）中均保持了差分隐私，隐私预算得到仔细追踪。
• 实证结果表明，即使在严格的隐私约束下，测试数据的RMSE仍保持较低水平（例如16.06–18.14），表明具有强大的泛化能力。
• 该框架实现了高维数据上的私有学习，克服了先前非稀疏方法在更高维度下失效的局限性。