[论文解读] Federated Heavy Hitters Discovery with Differential Privacy

Wennan Zhu, Peter Kairouz+3 more|arXiv (Cornell University)|Feb 22, 2019

Privacy-Preserving Technologies in Data参考文献 42被引用 13

一句话总结

本文提出了一种联邦化、隐私保护的算法，用于在不收集原始数据的情况下发现用户生成数据流中的频繁项（重载项）。通过在字典树数据结构上对序列前缀进行迭代、阈值化的投票，该方法实现了内在的差分隐私保护——具体而言，对于 n ≥ 10⁴ 的情况，其满足 (2, 1/n²)-DP —— 同时保持了较高的实用性，在如 Twitter 数据分析等实际场景中优于本地差分隐私方法。

ABSTRACT

The discovery of heavy hitters (most frequent items) in user-generated data streams drives improvements in the app and web ecosystems, but can incur substantial privacy risks if not done with care. To address these risks, we propose a distributed and privacy-preserving algorithm for discovering the heavy hitters in a population of user-generated data streams. We leverage the sampling and thresholding properties of our distributed algorithm to prove that it is inherently differentially private, without requiring additional noise. We also examine the trade-off between privacy and utility, and show that our algorithm provides excellent utility while also achieving strong privacy guarantees. A significant advantage of this approach is that it eliminates the need to centralize raw data while also avoiding the significant loss in utility incurred by local differential privacy. We validate our findings both theoretically, using worst-case analyses, and practically, using a Twitter dataset with 1.6M tweets and over 650k users. Finally, we carefully compare our approach to Apple's local differential privacy method for discovering heavy hitters.

研究动机与目标

• 解决从用户生成的数据流中发现频繁项（如流行词汇或行为）所引发的隐私风险。
• 弥合中心化与本地差分隐私模型在重载项检测中实用性的差距。
• 在不收集原始用户数据的前提下实现重载项的发现，从而在保护用户隐私的同时保持高实用性。
• 为苹果的本地 DP 方法提供一种实用的替代方案，特别是在本地 DP 因过度的实用性损失而难以适用的场景中。
• 正式证明该算法具有内在的差分隐私性，无需额外添加噪声，仅依赖采样与阈值化机制。

提出的方法

• 该算法采用一种迭代的、交互式的联邦框架，用户对先前发现的流行前缀进行一位字符的扩展投票。
• 服务器维护一个字典树数据结构，用于聚合投票结果，并动态删除计数低于阈值 θ 的节点。
• 每轮选择一个随机用户子集发送匿名投票，确保最小化数据暴露并实现临时数据处理。
• 该方法利用投票过程中采样与阈值化的特性，实现内在的差分隐私，无需额外注入噪声。
• 该算法设计兼容安全聚合协议，进一步限制服务器所能看到的信息。
• 理论分析证明，当序列长度不超过 10 且用户数 n ≥ 10⁴ 时，该算法满足 (2, 1/n²)-差分隐私。

实验结果

研究问题

• RQ1 联邦方法是否能在避免本地差分隐私导致的实用性损失的同时，实现强隐私保障来发现重载项？
• RQ2 在联邦投票机制中，采样与阈值化相结合是否能内在地提供差分隐私，而无需额外添加噪声？
• RQ3 该方法在真实世界数据中的实用性与苹果的本地差分隐私方法相比如何？
• RQ4 在该联邦设置中，隐私参数（ε, δ）与实用性（精确率、召回率）之间的权衡关系如何？
• RQ5 该算法是否能有效扩展至大规模用户群体（如 n ≥ 10⁴），同时保持强隐私保障与高精度？

主要发现

• 所提出的算法在 n ≥ 10⁴ 名用户且序列长度 ≤10 的情况下，无需添加噪声即可实现 (2, 1/n²)-差分隐私。
• 该方法保持了高实用性，其在包含 160 万条推文和超过 65 万名用户的 Twitter 数据集上的实证结果表明，在实际场景中优于本地 DP 方法。
• 该算法在不集中存储原始用户数据的前提下提供了强隐私保障，与中心化 DP 模型不同。
• 与苹果的本地 DP 方法相比，该方法在实用性上显著更优，尤其在本地 DP 因噪声过大而不可行的场景中优势明显。
• 理论分析证实，采样与阈值化机制本身即能确保差分隐私，如定理 1 和推论 1 所形式化。
• 实验结果表明，该算法在 OOV 和情感分析数据集中均能以高频率准确性成功识别出主要重载项（如 'dont', 'thats', '@mileycyrus'）。