[论文解读] Learning under $p$-Tampering Attacks

Saeed Mahloujifar, Dimitrios I. Diochnos+1 more|arXiv (Cornell University)|Nov 10, 2017

Adversarial Robustness in Machine Learning参考文献 33被引用 4

一句话总结

本文提出了改进的 $p$-篡改攻击，可提升有界实值函数的期望值，从而在目标机器学习设置中实现更强的投毒攻击。研究证明，当可实现性成立时，PAC学习在 $p$-篡改下仍可行；但在能够有选择地选取正确标签对抗样本的强 $p$-预算攻击下，PAC学习变得不可能。

ABSTRACT

Recently, Mahloujifar and Mahmoody (TCC'17) studied attacks against learning algorithms using a special case of Valiant's malicious noise, called $p$-tampering, in which the adversary gets to change any training example with independent probability $p$ but is limited to only choose malicious examples with correct labels. They obtained $p$-tampering attacks that increase the error probability in the so called targeted poisoning model in which the adversary's goal is to increase the loss of the trained hypothesis over a particular test example. At the heart of their attack was an efficient algorithm to bias the expected value of any bounded real-output function through $p$-tampering. In this work, we present new biasing attacks for increasing the expected value of bounded real-valued functions. Our improved biasing attacks, directly imply improved $p$-tampering attacks against learners in the targeted poisoning model. As a bonus, our attacks come with considerably simpler analysis. We also study the possibility of PAC learning under $p$-tampering attacks in the non-targeted (aka indiscriminate) setting where the adversary's goal is to increase the risk of the generated hypothesis (for a random test example). We show that PAC learning is possible under $p$-tampering poisoning attacks essentially whenever it is possible in the realizable setting without the attacks. We further show that PAC learning under "correct-label" adversarial noise is not possible in general, if the adversary could choose the (still limited to only $p$ fraction of) tampered examples that she substitutes with adversarially chosen ones. Our formal model for such "bounded-budget" tampering attackers is inspired by the notions of (strong) adaptive corruption in secure multi-party computation.

研究动机与目标

• 开发更有效的 $p$-篡改攻击，以偏置有界实值函数的期望值，从而增强目标学习设置中的投毒攻击能力。
• 分析在非目标（无差别）设置下，PAC学习在 $p$-篡改攻击下的可行性，其中攻击者旨在增加对随机测试样本的风险。
• 研究在强 $p$-预算攻击下PAC学习的局限性，此类攻击可有选择地选取带有正确标签的对抗样本，即使篡改比例仅限于 $p$ 分数。
• 提出一个受安全多方计算启发的有界预算篡改形式化模型，区分弱攻击者与强攻击者的能力。
• 在强 $p$-预算攻击下，建立可实现准确率与置信度的紧致界，揭示其在对抗噪声学习中的影响。

提出的方法

• 提出一种新型 $p$-篡改偏置攻击，可高效提升任意有界实值函数在 $p$-篡改下的期望值。
• 引入一种 $p$-重置偏置攻击变体，相较于先前工作，进一步提升了偏置性能并简化了分析。
• 开发理想偏置攻击的多项式时间近似，使该方法可实际部署于学习算法中。
• 使用切尔诺夫不等式分析攻击者在 $p$-篡改过程中耗尽预算的概率，确保高成功概率。
• 通过引入两个概念 $c_0$ 和 $c_1$ 构造分布性论证，证明在攻击者作用下两者不可区分，从而证明任何学习者都无法可靠区分二者。
• 应用集中不等式与条件概率，对学习假设的风险进行有界，表明无论样本大小如何，误差始终至少为 $\Omega(1/k) = \Omega(p)$。

实验结果

研究问题

• RQ1 能否改进 $p$-篡改攻击，以更有效地偏置学习设置中有界实值函数的期望值？
• RQ2 当目标概念可实现时，PAC学习在非目标（无差别）设置下是否仍可在 $p$-篡改攻击下保持可行？
• RQ3 在可有选择地选取带有正确标签对抗样本的强 $p$-预算攻击下，PAC学习存在哪些局限性？
• RQ4 诱导分布的方法能否被适配以在不使用错误标签的情况下，证明 $p$-篡改情境下的负面结果？
• RQ5 在强 $p$-预算攻击下，是否存在与 $\omega(p)$ 下界匹配的上界，以限制可实现的准确率或置信度？

主要发现

• 所提出的 $p$-篡改与 $p$-重置偏置攻击显著提升了对有界实值函数期望值的提升能力，从而支持更强的投毒攻击。
• 在非目标设置下，只要在无攻击时可实现性成立，PAC学习在 $p$-篡改下仍可行，表明该噪声下具有鲁棒性。
• 在可有选择地选取带有正确标签对抗样本的强 $p$-预算攻击下，PAC学习不可行，即使篡改比例仅限于 $p$ 分数。
• 在强 $p$-预算攻击下，可实现准确率或置信度的下界为 $\omega(p)$，意味着任何学习者都无法通过任意多的样本实现亚 $p$ 的误差或置信度。
• 分析表明，对于任意学习算法，无论样本大小如何，误差或置信度参数中至少有一个始终至少为 $\Omega(1/k) = \Omega(p)$。
• 该证明依赖于在攻击者作用下构造两个不可区分的分布，使得任何学习者即使完全知晓攻击策略，也无法可靠识别真实概念。