[论文解读] A bounded-noise mechanism for differential privacy

Yuval Dagan, Gil Kur|arXiv (Cornell University)|Dec 7, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用 7

一句话总结

本文提出了一种针对 $(\epsilon,\delta)$-差分隐私的有界噪声机制，该机制对每个查询结果添加独立同分布（i.i.d.）的有界噪声，以概率 1 实现渐近最优误差 $O(\Delta\sqrt{k\log(1/\delta)}/\epsilon)$。该机制解决了长期存在的开放问题，提供了有限的误差界（与无界机制不同），同时在自适应查询设置下匹配噪声水平的理论下界。

ABSTRACT

We present an asymptotically optimal $(ε,δ)$ differentially private mechanism for answering multiple, adaptively asked, $Δ$-sensitive queries, settling the conjecture of Steinke and Ullman [2020]. Our algorithm has a significant advantage that it adds independent bounded noise to each query, thus providing an absolute error bound. Additionally, we apply our algorithm in adaptive data analysis, obtaining an improved guarantee for answering multiple queries regarding some underlying distribution using a finite sample. Numerical computations show that the bounded-noise mechanism outperforms the Gaussian mechanism in many standard settings.

研究动机与目标

• 解决在 $(\epsilon,\delta)$-差分隐私下，针对自适应、$\Delta$-敏感查询是否存在渐近最优的有界噪声机制这一开放问题。
• 消除对可能产生任意大误差（即使以高概率）的无界噪声分布（如高斯分布、拉普拉斯分布）的依赖。
• 设计一种机制，确保所有查询均具有保证的绝对误差界，从而提升实际可靠性与数值稳定性。
• 证明 i.i.d. 有界噪声可实现最优噪声率 $O(R)$，与 Steinke 和 Ullman（2020）的理论下界一致，当 $\delta \geq e^{-k/\log^2 k \log^4 \log k}$ 时成立。

提出的方法

• 该机制从对称且对数凹的概率密度函数 $p_R$ 在 $[-R,R]$ 上独立抽取 i.i.d. 有界噪声，确保每次查询的误差有限。
• 采用基于隐私损失随机变量的矩生成函数（MGF）的新型隐私认证技术，实现严格的 $(\epsilon,\delta)$-DP 验证。
• 隐私分析通过在阈值 $L$ 处截断噪声分布以限制隐私损失，并引入尾部概率的校正项。
• 采用二分查找算法计算满足所需隐私参数的最小噪声幅度 $R$。
• 该方法依赖于 MGF 基础边界的凸优化，以计算隐私损失尾部概率的紧致上界。
• 算法设计具备数值稳定性，MGF 和尾部概率计算中采用单边误差界，以确保隐私保证的正确性。

实验结果

研究问题

• RQ1 能否设计一种使用 i.i.d. 有界噪声的差分隐私机制，在自适应查询中实现渐近最优误差率 $O(\Delta\sqrt{k\log(1/\delta)}/\epsilon)$？
• RQ2 是否可能构建一种机制，保证有限的绝对误差界（即误差 $\leq O(R)$ 以概率 1 成立），同时保持最优的隐私-效用权衡？
• RQ3 在实际场景中，有界噪声机制是否能优于高斯机制等无界机制，特别是在数值稳定性和误差控制方面？
• RQ4 使用特定的有界噪声分布（特别是具有对数凹密度的分布）是否能带来优于标准分布截断版本的隐私-效用权衡？

主要发现

• 所提出的有界噪声机制在 $\delta \geq e^{-k/\log^2 k \log^4 \log k}$ 条件下，以概率 1 实现误差界 $O(\Delta\sqrt{k\log(1/\delta)}/\epsilon)$，与理论下界一致。
• 该机制使用 i.i.d. 有界噪声，确保任意查询的误差均不会超过最坏情况误差，相较于无界机制具有显著优势。
• 数值结果表明，该有界噪声机制在标准设置下优于高斯机制，尤其在误差方差和一致性方面表现更优。
• 基于 MGF 和尾部界限的隐私认证算法可实现精确、可验证的隐私保证，且近似误差可控。
• 该方法支持对 $R$ 的二分查找，以计算给定隐私预算下所需的最小噪声幅度，其正确性由 MGF 和尾部概率估计中的单边误差界保障。
• 该机制对自适应查询工作负载具有鲁棒性，并保持最优的渐近误差缩放，解决了差分隐私领域长期存在的开放问题。