[论文解读] Estimating Numerical Distributions under Local Differential Privacy

Zitao Li, Tianhao Wang+3 more|arXiv (Cornell University)|Dec 2, 2019

Privacy-Preserving Technologies in Data参考文献 22被引用 6

一句话总结

本文提出了一种新颖的方波（Square Wave, SW）报告机制与带平滑的期望最大化（Expectation Maximization with Smoothing, EMS）算法，以提升在本地差分隐私（Local Differential Privacy, LDP）下对数值分布估计的准确性。通过利用数据的数值顺序，并优化报告分布以偏好邻近值，SW与EMS在多种隐私预算与数据分布设置下，显著优于现有方法，在实用性方面表现更优。

ABSTRACT

When collecting information, local differential privacy (LDP) relieves the concern of privacy leakage from users' perspective, as user's private information is randomized before sent to the aggregator. We study the problem of recovering the distribution over a numerical domain while satisfying LDP. While one can discretize a numerical domain and then apply the protocols developed for categorical domains, we show that taking advantage of the numerical nature of the domain results in better trade-off of privacy and utility. We introduce a new reporting mechanism, called the square wave SW mechanism, which exploits the numerical nature in reporting. We also develop an Expectation Maximization with Smoothing (EMS) algorithm, which is applied to aggregated histograms from the SW mechanism to estimate the original distributions. Extensive experiments demonstrate that our proposed approach, SW with EMS, consistently outperforms other methods in a variety of utility metrics.

研究动机与目标

• 通过分箱方法将分类频率预言机（Categorical Frequency Oracle, CFO）应用于数值数据存在次优分箱选择与忽略数值结构的局限性，旨在解决该问题。
• 通过设计一种利用数值域有序特性的报告机制，提升基于LDP的数值分布估计的实用性。
• 开发一种后处理技术，通过整合非负性与归一化等结构约束来提升估计精度，同时对噪声保持鲁棒性。
• 研究并优化方波机制的带宽参数 $ b $，以最大化输入与输出之间的互信息，确保最优的隐私-实用性权衡。

提出的方法

• 提出方波（Square Wave, SW）机制：用户若其数值 $ v \in [0,1] $，则在 $ [-b, 1+b] $ 范围内报告，且在区间 $ [v-b, v+b] $ 内具有更高的概率密度 $ p $，其余区域为较低密度 $ q $，并满足 $ \frac{p}{q} = e^{\epsilon} $ 以实现 $ \epsilon $-LDP。
• 定义广义波（General Wave, GW）机制族，并证明方波在所有波形中通过最大化互信息的上界，实现最高实用性。
• 提出一种方法，通过最大化输入与输出之间互信息的上界，来计算最优带宽 $ b $，给定 $ \epsilon $。
• 将带平滑的期望最大化（EMS）算法应用于SW机制聚合后的报告，以估计原始分布，同时引入非负性与归一化约束。
• 使用交替方向乘子法（ADMM）优化，改进分层直方图估计（HH-ADMM），强制执行非负性与和为一的约束，以减少噪声引起的误差。
• 将SW报告机制与EMS及HH-ADMM集成，形成完整的端到端管道，实现LDP下高精度的数值分布估计。

实验结果

研究问题

• RQ1 一种利用数据数值顺序的报告机制是否能在LDP环境下优于标准的分类频率预言机？
• RQ2 在LDP下，为最小化估计误差，报告分布的最佳形状（如方波、三角波、梯形波）是什么？
• RQ3 如何选择方波机制的带宽参数 $ b $，以实现最优的隐私-实用性权衡？
• RQ4 结合数值感知报告机制后，通过EM与平滑后处理是否能显著提升估计精度？
• RQ5 在多种数据分布与隐私预算下，所提出的SW与EMS方法相较于现有方法（如分箱+CF0、SR、PM、OLH）表现如何？

主要发现

• 方波机制在所有评估的数据分布与隐私参数下，其估计精度始终优于其他波形（如三角波、梯形波）。
• 通过最大化互信息上界计算出的最优带宽 $ b $，其性能显著优于启发式或固定 $ b $ 的选择方式。
• SW与EMS方法在所有测试数据集（Beta(5,2)、出租车接客时间、收入、退休年龄）中，与真实分布的Wasserstein距离最低，相比基线方法最高提升达30%。
• HH-ADMM是一种改进的分层直方图方法，利用ADMM优化，有效减少了由负频率与噪声引起的估计误差，优于原始分层直方图方法。
• EMS算法对终止条件极为敏感；然而，通过适当的平滑与参数调优，其能实现鲁棒且高精度的原始分布恢复。
• 大量实验表明，SW与EMS在多种实用性指标（包括Wasserstein距离与均方误差）下，始终一致优于现有方法（如分箱+CF0、SR、PM、OLH）。