[论文解读] Pool Inference Attacks on Local Differential Privacy: Quantifying the Privacy Guarantees of Apple's Count Mean Sketch in Practice

Andrea Gadotti, Florimond Houssiau+2 more|arXiv (Cornell University)|Apr 14, 2023

Privacy, Security, and Data Protection被引用 5

一句话总结

本文提出了一种新型隐私攻击——池化推理攻击（pool inference attacks），针对苹果公司基于本地差分隐私的计数均值草图（Count Mean Sketch, CMS）机制。通过贝叶斯模型，作者表明攻击者即使在较高的隐私预算（ε = 4–8）下，也能通过利用重复的、经过混淆的数据收集，准确推断出用户在新闻网站上偏好的表情符号肤色或政治倾向，揭示了尽管有理论隐私保证，但实际中仍存在显著的隐私风险。

ABSTRACT

Behavioral data generated by users' devices, ranging from emoji use to pages visited, are collected at scale to improve apps and services. These data, however, contain fine-grained records and can reveal sensitive information about individual users. Local differential privacy has been used by companies as a solution to collect data from users while preserving privacy. We here first introduce pool inference attacks, where an adversary has access to a user's obfuscated data, defines pools of objects, and exploits the user's polarized behavior in multiple data collections to infer the user's preferred pool. Second, we instantiate this attack against Count Mean Sketch, a local differential privacy mechanism proposed by Apple and deployed in iOS and Mac OS devices, using a Bayesian model. Using Apple's parameters for the privacy loss $\varepsilon$, we then consider two specific attacks: one in the emojis setting -- where an adversary aims at inferring a user's preferred skin tone for emojis -- and one against visited websites -- where an adversary wants to learn the political orientation of a user from the news websites they visit. In both cases, we show the attack to be much more effective than a random guess when the adversary collects enough data. We find that users with high polarization and relevant interest are significantly more vulnerable, and we show that our attack is well-calibrated, allowing the adversary to target such vulnerable users. We finally validate our results for the emojis setting using user data from Twitter. Taken together, our results show that pool inference attacks are a concern for data protected by local differential privacy mechanisms with a large $\varepsilon$, emphasizing the need for additional technical safeguards and the need for more research on how to apply local differential privacy for multiple collections.

研究动机与目标

• 调查苹果公司计数均值草图（CMS）机制在本地差分隐私下的实际隐私风险，该机制在表情符号场景中使用较高的隐私预算（ε = 4），在网站场景中使用ε = 8。
• 证明当用户在长时间内多次提交经过混淆的数据点时，现有理论隐私保证无法完全防范真实世界中的攻击。
• 提出并评估一种新型攻击——池化推理攻击，即攻击者通过分析单个用户重复提交的混淆数据，推断其偏好的群体（如肤色或政治新闻网站）。
• 使用贝叶斯推断量化攻击效果，并通过真实 Twitter 用户数据在表情符号场景中验证研究结果。
• 倡导采用更强的技术防护措施，如混洗（shuffling）或混洗网络（mix networks），并强调在多次数据收集的本地差分隐私系统中，需加强隐私优先设计。

提出的方法

• 提出一种名为“池化推理攻击”的新型攻击模型，攻击者定义互不重叠的兴趣池（如肤色或政治新闻领域），并利用单个用户重复提交的混淆数据，推断其偏好池。
• 采用贝叶斯推断框架，基于多次数据收集中混淆对象选择的频率，计算用户偏好某一特定池的后验概率。
• 使用似然函数 Pr[A | z] 建模在用户真实偏好为 A 的前提下，观察到特定混淆对象 z 的概率，该函数基于计数均值草图机制的统计特性推导得出。
• 使用苹果公司实际的 ε 值（4 和 8）校准攻击，并在用户极化程度和兴趣相关性不同的条件下评估攻击性能。
• 通过真实 Twitter 用户数据验证表情符号场景下攻击的有效性，将预测偏好与用户实际行为进行对比。
• 分析隐私预算 ε 和用户行为极化程度对攻击成功率的影响，结果表明高极化显著增加系统脆弱性。

实验结果

研究问题

• RQ1 在苹果公司 CMS 实现下，攻击者能否通过用户重复提交的混淆数据，准确推断其偏好的对象池（如肤色或政治新闻网站）？
• RQ2 池化推理攻击的成功率如何随用户极化程度和其兴趣与预设池的相关性而变化？
• RQ3 苹果公司设定的高隐私预算（ε = 4 和 ε = 8）在多大程度上削弱了本地差分隐私在真实场景中的实际隐私保障？
• RQ4 贝叶斯模型在多大程度上能准确预测攻击者对其推断结果的信心？该攻击在实践中是否具有良好的校准性？
• RQ5 这些发现对在长期从同一用户收集数据的系统中部署本地差分隐私机制有何启示？

主要发现

• 在表情符号和新闻网站场景中，池化推理攻击显著优于随机猜测，当收集足够数据时，成功率远超随机水平。
• 高极化用户（即持续从某一特定池中选择对象）被发现显著更易受攻击，尤其当其偏好池清晰且与其他池明显区分时。
• 攻击在推断中表现出高度置信度，贝叶斯模型具有良好校准性，使攻击者能够基于用户的行为模式可靠地识别并针对脆弱用户。
• 在表情符号场景中，攻击成功利用真实 Twitter 用户数据推断出用户偏好的肤色，验证了模型的实际相关性与有效性。
• 结果表明，即使在本地差分隐私保护下，高 ε 值与重复数据收集仍会造成可被利用的隐私泄露，从而削弱预期的隐私保障。
• 本研究揭示了仅依赖单次提交隐私损失（ε）的局限性，并呼吁采用更强的隐私模型，如混洗或混洗网络，以弥补这些实际攻击面。