[论文解读] Fine-grained Poisoning Attack to Local Differential Privacy Protocols for Mean and Variance Estimation

Xiaoguang Li, Ninghui Li+3 more|arXiv (Cornell University)|May 24, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文提出了一种输出污染攻击（OPA），通过在扰动域中构造恶意输出，实现对本地差分隐私（LDP）协议中均值和方差估计的细粒度操控。OPA 在所需伪造用户数量更少的情况下，优于基线输入污染攻击，并揭示了一种反直觉的安全-隐私一致性：更高的隐私预算（更低的噪声）会降低攻击的有效性。

ABSTRACT

Although local differential privacy (LDP) protects individual users' data from inference by an untrusted data curator, recent studies show that an attacker can launch a data poisoning attack from the user side to inject carefully-crafted bogus data into the LDP protocols in order to maximally skew the final estimate by the data curator. In this work, we further advance this knowledge by proposing a new fine-grained attack, which allows the attacker to fine-tune and simultaneously manipulate mean and variance estimations that are popular analytical tasks for many real-world applications. To accomplish this goal, the attack leverages the characteristics of LDP to inject fake data into the output domain of the local LDP instance. We call our attack the output poisoning attack (OPA). We observe a security-privacy consistency where a small privacy loss enhances the security of LDP, which contradicts the known security-privacy trade-off from prior work. We further study the consistency and reveal a more holistic view of the threat landscape of data poisoning attacks on LDP. We comprehensively evaluate our attack against a baseline attack that intuitively provides false input to LDP. The experimental results show that OPA outperforms the baseline on three real-world datasets. We also propose a novel defense method that can recover the result accuracy from polluted data collection and offer insight into the secure LDP design.

研究动机与目标

• 为解决现有数据污染攻击无法在 LDP 协议中精确控制均值和方差估计的问题。
• 探究攻击者是否以及如何在基于 LDP 的均值和方差估计中，将统计估计精细调整至特定目标值。
• 评估输出域污染与输入域污染在操控 LDP 估计方面的有效性与效率。
• 探讨隐私预算对攻击成功率的影响，并揭示一种反直觉的安全-隐私一致性。
• 提出一种新颖的防御机制，以从受污染的 LDP 数据集合中恢复准确性。

提出的方法

• 该攻击在 LDP 扰动的输出域中构造虚假数据，绕过本地随机化步骤，直接操控最终估计结果。
• 将均值与方差的双重操控建模为联立方程求解问题，以协调控制用户之间的虚假数据生成。
• 攻击者利用公开的历史统计数据和可预测的数据趋势，估算真实值并设定目标值以实现操控。
• 将 OPA 应用于两种最先进的 LDP 协议：随机舍入（SR）和分段机制（PM），并使用其已知的扰动函数。
• 该方法推导出成功攻击的理论条件，并计算实现目标估计所需的最少伪造用户数量下界。
• 提出一种新型防御机制，通过分析聚合输出中的统计不一致性，检测并纠正受污染数据。

实验结果

研究问题

• RQ1 攻击者能否仅通过单一攻击向量，在 LDP 协议中精确控制均值和方差估计？
• RQ2 在均值和方差估计方面，输出域污染与输入域污染在效率和有效性上如何比较？
• RQ3 隐私预算（epsilon）是否影响 LDP 中数据污染攻击的成功率？是否存在安全-隐私一致性？
• RQ4 在 OPA 下，实现特定均值和方差目标所需的最少伪造用户数量是多少？
• RQ5 能否设计一种防御机制，从受污染的 LDP 数据集合中恢复准确的统计估计？

主要发现

• OPA 在三个真实世界数据集上优于基线输入污染攻击（IPA），以更少的伪造用户实现目标均值和方差。
• 该攻击在不同隐私预算下均有效，但成功率与隐私损失成反比——更高的隐私（更小的 ε）会降低攻击有效性。
• 观察到一种反直觉的安全-隐私一致性：更高的隐私增强了对污染攻击的抵抗力，与传统的隐私-效用权衡相悖。
• 理论分析表明，OPA 所需的最少伪造用户数量存在下界，且该下界小于 IPA 实现相同目标所需的数量。
• 所提出的防御机制成功从受污染数据中恢复了准确的统计估计，展示了实际的鲁棒性。
• 该攻击可扩展至其他 LDP 协议，包括频率估计、分布估计和图统计，表明其具有广泛的威胁影响。