[论文解读] Formal Privacy for Functional Data with Gaussian Perturbations

Ardalan Mirshani, Matthew Reimherr+1 more|arXiv (Cornell University)|Nov 17, 2017

Privacy-Preserving Technologies in Data参考文献 48被引用 7

一句话总结

该论文通过在可分巴拿赫空间中利用高斯扰动，将微分隐私扩展至函数型数据，实现了对复杂摘要（如完整函数发布、非线性泛函及路径级估计）的隐私保护。核心贡献是基于Cameron-Martin密度的正式框架，建立了隐私界限，同时揭示了一个关键权衡：轻微的过度平滑可减少噪声，显著提升实用性，且不损害隐私。

ABSTRACT

Motivated by the rapid rise in statistical tools in Functional Data Analysis, we consider the Gaussian mechanism for achieving differential privacy with parameter estimates taking values in a, potentially infinite-dimensional, separable Banach space. Using classic results from probability theory, we show how densities over function spaces can be utilized to achieve the desired differential privacy bounds. This extends prior results of Hall et al (2013) to a much broader class of statistical estimates and summaries, including "path level" summaries, nonlinear functionals, and full function releases. By focusing on Banach spaces, we provide a deeper picture of the challenges for privacy with complex data, especially the role regularization plays in balancing utility and privacy. Using an application to penalized smoothing, we explicitly highlight this balance in the context of mean function estimation. Simulations and an application to diffusion tensor imaging are briefly presented, with extensive additions included in a supplement.

研究动机与目标

• 将微分隐私从点态函数评估扩展至复杂函数型摘要（如范数、导数及完整函数发布）
• 利用函数密度在无限维可分巴拿赫空间中形式化统计估计的隐私保证
• 研究正则化与隐私之间的相互作用，表明过度平滑可减少噪声并保持隐私
• 通过惩罚平滑开发一种计算上可行的私有均值函数估计机制
• 通过模拟和扩散张量成像应用展示该框架的实际效用

提出的方法

• 在可分巴拿赫空间中使用零均值高斯噪声的高斯机制，实现 $(\epsilon,\delta)$-微分隐私
• 应用Cameron-Martin定理推导函数空间上的密度，从而在无限维设置中实现严格的隐私界限
• 引入噪声与摘要之间‘兼容性’的概念，以确定对给定函数型摘要能否实现DP
• 采用带惩罚参数 $\phi$ 和范围参数 $\rho$ 的惩罚平滑，以平衡偏差、方差与隐私
• 开发私有交叉验证（PCV），通过平均蒙特卡洛估计的交叉验证得分，在隐私约束下调优超参数
• 使用基于核的协方差函数（高斯、Matérn、指数型）对底层函数空间进行建模，并生成增强隐私的估计

实验结果

研究问题

• RQ1 高斯机制能否对包括非线性和路径级估计在内的广泛函数型摘要类实现 $(\epsilon,\delta)$-微分隐私？
• RQ2 为实现微分隐私，噪声分布需满足何种条件才能与给定的函数型摘要兼容？
• RQ3 正则化（尤其是过度平滑）如何影响函数型数据发布中隐私与实用性的权衡？
• RQ4 通过私有交叉验证（PCV）进行的私有超参数调优，能否在隐私约束下产生比标准交叉验证更优的估计？
• RQ5 在无限维空间中，函数密度在多大程度上可被有意义地构建和利用，以实现保护隐私的统计推断？

主要发现

• 高斯机制对包括完整函数发布和路径级摘要在内的广泛线性和非线性泛函类实现了 $(\epsilon,\delta)$-微分隐私
• 一个关键的负面结果表明，并非所有高斯噪声都与给定摘要兼容；兼容性是实现DP的必要条件
• 对于通过惩罚平滑进行的均值函数估计，使用 $\phi = 0.01$ 与高斯核可实现隐私与实用性的良好平衡
• 私有交叉验证（PCV）导致过度平滑，但通过减少噪声显著提升了实用性，表明过度平滑可增强隐私-实用性权衡
• 模拟结果表明，基于PCV的估计保持了高实用性，尤其在使用高斯核时，隐私增强的估计能紧密跟踪真实均值函数
• 该框架揭示正则化在隐私中起关键作用：轻微的过度平滑可减少所需噪声，从而在不牺牲隐私保证的前提下提升实用性