[论文解读] Calibrate: Frequency Estimation and Heavy Hitter Identification with Local Differential Privacy via Incorporating Prior Knowledge

Jinyuan Jia, Neil Zhenqiang Gong|arXiv (Cornell University)|Dec 5, 2018

Privacy-Preserving Technologies in Data参考文献 20被引用 5

一句话总结

本文提出 Calibrate，一种后处理方法，通过利用关于噪声和真实项目频率的先验知识，结合统计推断，显著提升局部差分隐私（LDP）下的频率估计与高频项目识别性能。通过将先验知识建模为概率分布，并利用贝叶斯更新计算校准后的频率估计，Calibrate 显著降低了估计误差——在 ε=5 时，相比最先进的方法 OUE-Zero，相对误差改善最高达 97%。

ABSTRACT

Estimating frequencies of certain items among a population is a basic step in data analytics, which enables more advanced data analytics (e.g., heavy hitter identification, frequent pattern mining), client software optimization, and detecting unwanted or malicious hijacking of user settings in browsers. Frequency estimation and heavy hitter identification with local differential privacy (LDP) protect user privacy as well as the data collector. Existing LDP algorithms cannot leverage 1) prior knowledge about the noise in the estimated item frequencies and 2) prior knowledge about the true item frequencies. As a result, they achieve suboptimal performance in practice. In this work, we aim to design LDP algorithms that can leverage such prior knowledge. Specifically, we design ${Calibrate}$ to incorporate the prior knowledge via statistical inference. ${Calibrate}$ can be appended to an existing LDP algorithm to reduce its estimation errors. We model the prior knowledge about the noise and the true item frequencies as two probability distributions, respectively. Given the two probability distributions and an estimated frequency of an item produced by an existing LDP algorithm, our ${Calibrate}$ computes the conditional probability distribution of the item's frequency and uses the mean of the conditional probability distribution as the calibrated frequency for the item. It is challenging to estimate the two probability distributions due to data sparsity. We address the challenge via integrating techniques from statistics and machine learning. Our empirical results on two real-world datasets show that ${Calibrate}$ significantly outperforms state-of-the-art LDP algorithms for frequency estimation and heavy hitter identification.

研究动机与目标

• 为解决现有 LDP 算法在频率估计与高频项目识别中因无法利用先验知识而导致的性能不佳问题。
• 通过引入关于估计频率中噪声和真实项目频率分布的先验知识，降低 LDP 中的估计误差。
• 设计一种后处理框架，可无缝集成至任意现有 LDP 算法中，提升准确性，而无需修改其核心机制。
• 将关于噪声和真实频率的先验知识建模为概率分布，并利用贝叶斯推断计算校准后的频率估计。
• 通过实证验证，Calibrate 在不同隐私预算下，于真实世界数据集上均优于最先进的 LDP 算法。

提出的方法

• 将关于估计频率中噪声的先验知识建模为概率分布 $ p_s(\delta) $，表示添加到真实频率上的噪声 $ \delta $ 的分布。
• 将关于真实项目频率的先验知识建模为概率分布 $ p_f(k) $，表示真实频率 $ k $ 的可能性。
• 利用贝叶斯推断计算条件概率分布 $ p(f|\hat{f}) $，其中 $ \hat{f} $ 是现有 LDP 算法输出的估计频率。
• 将校准后的频率计算为条件分布 $ p(f|\hat{f}) $ 的均值，作为最终估计结果。
• 使用统计与机器学习技术估计两个先验分布 $ p_s $ 和 $ p_f $，以应对现实场景中数据稀疏性问题。
• 将 Calibrate 作为后处理步骤，集成于任意 LDP 算法的聚合阶段之后，实现即插即用的性能提升。

实验结果

研究问题

• RQ1 关于 LDP 估计频率中噪声的先验知识，是否能提升频率估计的准确性？
• RQ2 关于项目频率真实分布的先验知识，是否能进一步降低 LDP 中的估计误差？
• RQ3 通过统计推断同时整合噪声与真实频率先验，与现有后处理方法（如 OUE-Zero）相比表现如何？
• RQ4 Calibrate 在不同隐私预算与阈值下，对高频项目识别性能的提升程度如何？
• RQ5 由于初始估计中噪声减少，Calibrate 的性能增益是否会随着隐私预算提高而增强？

主要发现

• 在 Kosarak 数据集上，OUE- Calibrate 在 ε=5 时相比 OUE-Zero 实现了 97% 的相对误差改善，而在 ε=1 时仅为 16%。
• 在 Retail Market Basket 数据集上，OUE- Calibrate 在 ε=5 时相比 OUE-Zero 实现了 65% 的相对误差改善，而在 ε=1 时仅为 2.4%。
• Calibrate 在高频项目识别方面显著优于 OUE-Zero，尤其在低于显著性阈值的场景下，得益于对不可靠低频估计的更好处理。
• OUE- Calibrate 在较小阈值下 Precision 更高，尤其在低频项目上，得益于利用先验知识对这些项目进行更精确的再校准。
• 在较高隐私预算（如 ε=5）下，Calibrate 的性能增益更为显著，因为初始噪声较小，使得从数据中更准确地估计先验分布成为可能。
• 在论文中定理 2 的证明下，Calibrate 被证明是在给定假设下的最优后处理方法。