[论文解读] Improved Utility Analysis of Private CountSketch

Rasmus Pagh, Mikkel Thorup|arXiv (Cornell University)|May 17, 2022

Privacy-Preserving Technologies in Data参考文献 26被引用 7

一句话总结

本文通过证明使用中位数估计器可使噪声独立于草图重复次数，改进了差分隐私 CountSketch 的效用分析，实现了近乎最优的隐私-效用权衡。误差几乎与原始高维空间中为实现隐私所必需的非私有 CountSketch 加上噪声的误差完全相同，因此在私有分析和联邦学习中具有极高的效率。

ABSTRACT

Sketching is an important tool for dealing with high-dimensional vectors that are sparse (or well-approximated by a sparse vector), especially useful in distributed, parallel, and streaming settings. It is known that sketches can be made differentially private by adding noise according to the sensitivity of the sketch, and this has been used in private analytics and federated learning settings. The post-processing property of differential privacy implies that all estimates computed from the sketch can be released within the given privacy budget. In this paper we consider the classical CountSketch, made differentially private with the Gaussian mechanism, and give an improved analysis of its estimation error. Perhaps surprisingly, the privacy-utility trade-off is essentially the best one could hope for, independent of the number of repetitions in CountSketch: The error is almost identical to the error from non-private CountSketch plus the noise needed to make the vector private in the original, high-dimensional domain.

研究动机与目标

• 分析在使用中位数估计器而非均值估计器时，差分隐私 CountSketch 的估计误差。
• 解决现有私有草图方法中，通过增加重复次数提高草图可靠性与噪声增长之间的权衡问题。
• 证明中位数估计器可实现与重复次数 k 无关的噪声水平，从而提升效用。
• 表明隐私-效用权衡近乎最优，误差接近非私有 CountSketch 误差与高维隐私所需最小噪声之和。
• 为在差分隐私草图中使用基于中位数的估计进行稀疏向量估计提供理论依据。

提出的方法

• 对 CountSketch 输出的每个坐标应用高斯机制，添加独立同分布的高斯噪声，其尺度由草图的 L2 敏感性决定。
• 对每个坐标使用 k 个独立估计器的中位数而非均值，利用其中位数的鲁棒性和更低方差。
• 从草图误差和隐私引入的噪声两方面分析中位数估计器的估计误差。
• 证明中位数估计器的噪声不会随重复次数 k 增加而增长，而均值估计器的噪声则随 k 呈多项式增长。
• 证明总误差本质上等于非私有 CountSketch 误差与使原始向量实现差分隐私所必需的噪声之和。
• 利用集中不等式和对称分布的性质，对失败概率和估计误差进行上界估计。

实验结果

研究问题

• RQ1 在重复次数较多时，CountSketch 中的中位数估计器是否能降低估计噪声，同时保持高可靠性？
• RQ2 使用中位数估计器时，差分隐私引入的噪声是否会随草图重复次数增加而增长？
• RQ3 差分隐私 CountSketch 的隐私-效用权衡是否近乎最优，接近理论下界？
• RQ4 中位数估计器能否实现与 k 无关的噪声水平，从而消除可靠性与噪声之间的权衡？
• RQ5 私有 CountSketch 的误差与非私有 CountSketch 及高维隐私所需噪声相比如何？

主要发现

• 基于中位数的私有 CountSketch 的估计误差，几乎与非私有 CountSketch 误差和为实现原始高维向量差分隐私发布所必需的噪声之和完全相同。
• 中位数估计器引入的噪声与重复次数 k 无关，而均值估计器的噪声则随 k 呈多项式增长。
• 当 k = 3 时，误差随草图大小 D 的平方递减，证实中位数在降低方差方面的优势。
• CountSketch 的失败概率随 k 呈指数下降，可在不增加隐私噪声的前提下实现高可靠性。
• 在世界城市和市场篮子数据集上的实验结果表明，在 ε = 1 和 δ = 10⁻⁶ 条件下，私有 CountSketch 的误差几乎与非私有 CountSketch 同样集中。
• 该方法可在 O(t log d) 空间内实现对 t-稀疏向量的差分隐私表示，且噪声接近非稀疏场景下的理论最小值。