[论文解读] KNG: The K-Norm Gradient Mechanism

Matthew Reimherr, Jordan Awan|arXiv (Cornell University)|May 23, 2019

Privacy-Preserving Technologies in Data参考文献 31被引用 4

一句话总结

本文提出了K-范数梯度机制（KNG），一种新颖的差分隐私算法，通过使用目标函数的梯度和灵活的K-范数来加权候选解，从而提升实用性。与指数机制不同，KNG相对于统计误差实现了渐近可忽略的噪声，展示了在线性回归和分位数回归中更优越的实用性，同时保持了强大的隐私保证。

ABSTRACT

This paper presents a new mechanism for producing sanitized statistical summaries that achieve \emph{differential privacy}, called the \emph{K-Norm Gradient} Mechanism, or KNG. This new approach maintains the strong flexibility of the exponential mechanism, while achieving the powerful utility performance of objective perturbation. KNG starts with an inherent objective function (often an empirical risk), and promotes summaries that are close to minimizing the objective by weighting according to how far the gradient of the objective function is from zero. Working with the gradient instead of the original objective function allows for additional flexibility as one can penalize using different norms. We show that, unlike the exponential mechanism, the noise added by KNG is asymptotically negligible compared to the statistical error for many problems. In addition to theoretical guarantees on privacy and utility, we confirm the utility of KNG empirically in the settings of linear and quantile regression through simulations.

研究动机与目标

• 为解决差分隐私统计估计中指数机制噪声幅度过高的问题，其噪声幅度通常与统计误差率相当。
• 开发一种机制，在保留指数机制灵活性的同时，实现与目标扰动相当的实用性。
• 提供一个统一的框架，通过基于范数的梯度加权，推广现有的机制（如拉普拉斯、K-范数和PrivateQuantile），实现灵活性。
• 通过实证验证KNG在线性回归和分位数回归中的性能，表明其渐近接近非私有误差率。
• 探索KNG在复杂参数空间（如希尔伯特空间和黎曼流形）中的潜力，其中梯度定义良好。

提出的方法

• KNG 构造一个与 exp(−c₀‖∇ℓₙ(θ;D)‖_K) 成比例的概率密度函数，其中 ∇ℓₙ 是经验目标函数的梯度，‖·‖_K 是用户选择的K-范数。
• K-范数通过一个凸集 K 定义，该集合可根据问题的敏感性结构进行调整，从而实现基于范数的实用性优化。
• 该机制倾向于选择使目标函数梯度接近零的解 θ，从而有效聚焦于目标函数的最小值点。
• KNG 被证明是指数机制的一个实例，但由于基于梯度的加权，其统计效率更高。
• 在采样方面，KNG 使用马尔可夫链蒙特卡洛（MCMC）方法，特别是逐个更新的吉布斯采样，该方法在高维设置中表现良好。
• 该方法被应用于均值估计、分位数估计、线性回归和分位数回归，并在 ε=1 的条件下进行了实证验证。

实验结果

研究问题

• RQ1 能否设计一种差分隐私机制，在保留指数机制灵活性的同时，实现与目标扰动相当的实用性？
• RQ2 使用基于范数的加权方式对目标函数的梯度进行处理，是否能相对于统计误差降低噪声幅度？
• RQ3 KNG 是否能高效采样并应用于回归问题，包括此前无现有私有机制的分位数回归？
• RQ4 在非强凸设置下，KNG 是否能实现 oₚ(n⁻¹/²) 的误差，表明其适用范围可能超出理论假设的范围？
• RQ5 KNG 是否能扩展到无限维参数空间（如希尔伯特空间或黎曼流形）？

主要发现

• 在许多问题中，KNG 相对于统计误差实现了渐近可忽略的噪声，而指数机制的噪声幅度与估计误差同阶，因此表现更优。
• 在线性回归和分位数回归的模拟中，KNG 的估计误差趋近于非私有估计器的误差率（Oₚ(n⁻¹/²)），表明其具备高效的私有估计能力。
• 指数机制的误差趋近于斜率为 −1/2 的直线，但截距更高，表明其渐近方差更大；而 KNG 的误差则与非私有直线高度一致。
• KNG 是首个用于私有分位数回归的机制，通过 MCMC 采样实证表明其高效且实用。
• 尽管在非凸回归设置下定理 3.2 的理论假设未被满足，KNG 仍实现了 oₚ(n⁻¹/²) 的误差，表明其适用范围可能更广。
• KNG 广泛推广了现有机制：拉普拉斯、K-范数和 PrivateQuantile 机制均为 KNG 在特定范数选择下的特例。