[论文解读] Multi-party Poisoning through Generalized $p$-Tampering

Saeed Mahloujifar, Mohammad Mahmoody+1 more|arXiv (Cornell University)|Sep 10, 2018

Privacy-Preserving Technologies in Data参考文献 28被引用 5

一句话总结

本文提出了一种广义的 $p$-篡改模型，用于多方投毒攻击，其中攻击者控制 $m$ 个数据提供者中的 $k$ 个，并在 $p$-邻近约束下操纵其数据。证明此类攻击可使模型误差增加 $ Omega(p cdot k/m)$，且具有多项式时间实现能力，在原始数据无噪声时无需错误标签。

ABSTRACT

In a poisoning attack against a learning algorithm, an adversary tampers with a fraction of the training data $T$ with the goal of increasing the classification error of the constructed hypothesis/model over the final test distribution. In the distributed setting, $T$ might be gathered gradually from $m$ data providers $P_1,\dots,P_m$ who generate and submit their shares of $T$ in an online way. In this work, we initiate a formal study of $(k,p)$-poisoning attacks in which an adversary controls $k\in[n]$ of the parties, and even for each corrupted party $P_i$, the adversary submits some poisoned data $T'_i$ on behalf of $P_i$ that is still $(1-p)$-close to the correct data $T_i$ (e.g., $1-p$ fraction of $T'_i$ is still honestly generated). For $k=m$, this model becomes the traditional notion of poisoning, and for $p=1$ it coincides with the standard notion of corruption in multi-party computation. We prove that if there is an initial constant error for the generated hypothesis $h$, there is always a $(k,p)$-poisoning attacker who can decrease the confidence of $h$ (to have a small error), or alternatively increase the error of $h$, by $\Omega(p \cdot k/m)$. Our attacks can be implemented in polynomial time given samples from the correct data, and they use no wrong labels if the original distributions are not noisy. At a technical level, we prove a general lemma about biasing bounded functions $f(x_1,\dots,x_n)\in[0,1]$ through an attack model in which each block $x_i$ might be controlled by an adversary with marginal probability $p$ in an online way. When the probabilities are independent, this coincides with the model of $p$-tampering attacks, thus we call our model generalized $p$-tampering. We prove the power of such attacks by incorporating ideas from the context of coin-flipping attacks into the $p$-tampering model and generalize the results in both of these areas.

研究动机与目标

• 形式化一种新的多方投毒攻击模型，其中攻击者控制 $k$ 个数据提供者，并在 $p$-邻近约束下篡改其数据。
• 分析此类攻击在分布式学习设置下对所得假设的置信度和误差的影响。
• 将 $p$-篡改模型从抛硬币推广到数据投毒中的有界函数，实现更广泛的应用。
• 证明即使每方的污染程度有限（数据与真实值 $1-p$-接近），攻击者仍可显著降低模型性能。
• 设计一种多项式时间攻击策略，当原始数据干净时，无需依赖噪声标签即可运行。

提出的方法

• 提出广义的 $p$-篡改模型，其中每个数据提供者 $P_i$ 部分受攻击者控制，以 $p$ 的概率进行篡改，同时保留 $1-p$ 的诚实数据。
• 将攻击建模为有界函数 $f(x_1, \dots, x_n) \in [0,1]$ 上的偏置机制，将假设误差表示为污染输入的函数。
• 借鉴抛硬币攻击的技术，构造满足 $p$-篡改约束的对抗性扰动，系统性地增加模型误差。
• 证明一个关于在在线、概率控制下偏置有界函数的一般性引理，扩展了 $p$-篡改和多方计算中的先前结果。
• 设计一种多项式时间算法，为每个被污染的参与方 $P_i$ 生成投毒数据 $T'_i$，确保 $T'_i$ 与 $T_i$ 的距离为 $1-p$。
• 确保当原始数据分布无噪声时，攻击仍具有效性，避免了标签投毒的需要。

实验结果

研究问题

• RQ1 能否在 $p$-邻近约束下形式化一种多方投毒攻击，使得每个被污染的参与方提交的数据大部分为真实？
• RQ2 在该广义 $p$-篡改模型下，模型误差的最大可提升幅度是多少？
• RQ3 攻击强度如何随被污染参与方数量 $k$ 和篡改概率 $p$ 变化？
• RQ4 此类攻击能否在不依赖噪声标签的情况下高效实现（多项式时间）？
• RQ5 能否将抛硬币攻击的技术适配到有界数据篡改下的学习模型偏置？

主要发现

• 本文证明，$(k,p)$-投毒攻击者可使模型误差增加 $ Omega(p cdot k/m)$，即使在严格的邻近约束下，也展示了非平凡的攻击优势。
• 在可访问正确数据分布样本的前提下，该攻击可多项式时间计算。
• 当原始数据无噪声时，该方法无需任何标签污染，仅依赖输入数据的操纵。
• 该攻击模型统一了传统投毒与多方计算中的 $p$-篡改，实现了两种研究方向的融合。
• 证明了一个关于在部分、在线控制下偏置有界函数的一般性引理，使模型误差可作为对抗影响的函数进行分析。
• 结果表明，即使每方的篡改程度有限（与真实数据 $1-p$-接近），攻击者仍可显著降低模型置信度与性能。