[论文解读] Efficient Lipschitz Extensions for High-Dimensional Graph Statistics and Node Private Degree Distributions

Sofya Raskhodnikova, Adam Smith|arXiv (Cornell University)|Apr 29, 2015

Privacy-Preserving Technologies in Data参考文献 22被引用 25

一句话总结

本文提出了用于向量值图统计量（特别是排序度列表和度分布）的高效可计算Lipschitz扩展，使节点差分隐私算法更加精确。它提出了一种广义指数机制，并在α衰减图上实现了度分布估计的改进误差界 $ O\bigl(\bar{d}^{2\alpha/(\alpha+1)} / (\epsilon n)^{(\alpha-1)/(\alpha+1)}\bigr) $，显著优于先前的工作。

ABSTRACT

Lipschitz extensions were recently proposed as a tool for designing node differentially private algorithms. However, efficiently computable Lipschitz extensions were known only for 1-dimensional functions (that is, functions that output a single real value). In this paper, we study efficiently computable Lipschitz extensions for multi-dimensional (that is, vector-valued) functions on graphs. We show that, unlike for 1-dimensional functions, Lipschitz extensions of higher-dimensional functions on graphs do not always exist, even with a non-unit stretch. We design Lipschitz extensions with small stretch for the sorted degree list and for the degree distribution of a graph. Crucially, our extensions are efficiently computable. We also develop new tools for employing Lipschitz extensions in the design of differentially private algorithms. Specifically, we generalize the exponential mechanism, a widely used tool in data privacy. The exponential mechanism is given a collection of score functions that map datasets to real values. It attempts to return the name of the function with nearly minimum value on the data set. Our generalized exponential mechanism provides better accuracy when the sensitivity of an optimal score function is much smaller than the maximum sensitivity of score functions. We use our Lipschitz extension and the generalized exponential mechanism to design a node-differentially private algorithm for releasing an approximation to the degree distribution of a graph. Our algorithm is much more accurate than algorithms from previous work.

研究动机与目标

• 设计多维图函数（如排序度列表和度分布）的高效可计算Lipschitz扩展。
• 解决高维图统计量（尤其是稀疏图）在节点差分隐私算法中的空白。
• 开发一种广义指数机制，当最优评分函数相对于最大值的敏感度较低时，提高准确性。
• 实现显著优于先前节点私有算法的度分布估计误差界。

提出的方法

• 使用多项式时间算法，为排序度列表和度分布设计具有小拉伸的Lipschitz扩展。
• 引入一种广义指数机制，可在不同敏感度的评分函数中进行选择，优先选择敏感度较低的函数。
• 基于平滑敏感度和私有估计设计阈值选择算法，以选择最优度阈值 $ D $。
• 将Lipschitz扩展与广义指数机制结合，添加按拉伸和阈值缩放的拉普拉斯噪声。
• 使用图大小 $ n $ 的私有估计，将输出直方图归一化为概率分布。
• 在 $\alpha$-衰减假设下进行误差分析，推导出紧致的 $\ell_1$ 误差界。

实验结果

研究问题

• RQ1 多维图函数的Lipschitz扩展是否总是存在，即使拉伸非单位值？
• RQ2 能否在图上为排序度列表和度分布构造高效可计算的Lipschitz扩展？
• RQ3 当评分函数的敏感度差异显著时，广义指数机制如何提升准确性？
• RQ4 在节点私有度分布估计中，近似误差与隐私成本之间的最优权衡是什么？
• RQ5 所提方法能否在 $ \alpha > 1 $ 的稀疏图上实现度分布估计的 $ o(1) $ 误差？

主要发现

• 多维图函数的Lipschitz扩展并不总是存在，即使拉伸非单位值，这与一维情况不同。
• 为排序度列表和度分布构造了高效可计算的Lipschitz扩展，其拉伸有常数上界。
• 广义指数机制通过优先选择低敏感度评分函数，提升了准确性，尤其当最优函数的敏感度远低于最坏情况时。
• 所提算法在 $\alpha$-衰减图上实现 $ \mathbb{E}\|\hat{p} - p_G\|_1 = O\bigl(\bar{d}^{2\alpha/(\alpha+1)} / (\epsilon n)^{(\alpha-1)/(\alpha+1)}\bigr) $。
• 当 $ \bar{d}^{2\alpha/(\alpha-1)} = o(\epsilon n) $ 时，误差界在 $ n \to \infty $ 下趋于 $ o(1) $，表明具有渐近一致性。
• 该算法在度分布估计方面优于先前的节点私有方法，尤其在具有幂律度分布特性的稀疏图上。