[论文解读] Deep Partition Aggregation: Provable Defenses against General Poisoning Attacks

Alexander Levine, Soheil Feizi|arXiv (Cornell University)|May 3, 2021

Adversarial Robustness in Machine Learning参考文献 40被引用 22

一句话总结

本文提出了深度划分聚合（DPA）和半监督DPA（SS-DPA），分别针对一般性投毒攻击和标签翻转攻击的新型可证明防御方法。DPA利用基于哈希的数据划分和集成学习提供可证明的鲁棒性，实现最先进的认证性能：在MNIST上可抵御超过500次投毒插入，在CIFAR-10上可抵御9次投毒插入；SS-DPA在MNIST上可容忍超过600次标签翻转，在CIFAR-10上可容忍300次标签翻转。

ABSTRACT

Adversarial poisoning attacks distort training data in order to corrupt the test-time behavior of a classifier. A provable defense provides a certificate for each test sample, which is a lower bound on the magnitude of any adversarial distortion of the training set that can corrupt the test sample's classification. We propose two novel provable defenses against poisoning attacks: (i) Deep Partition Aggregation (DPA), a certified defense against a general poisoning threat model, defined as the insertion or deletion of a bounded number of samples to the training set --- by implication, this threat model also includes arbitrary distortions to a bounded number of images and/or labels; and (ii) Semi-Supervised DPA (SS-DPA), a certified defense against label-flipping poisoning attacks. DPA is an ensemble method where base models are trained on partitions of the training set determined by a hash function. DPA is related to both subset aggregation, a well-studied ensemble method in classical machine learning, as well as to randomized smoothing, a popular provable defense against evasion (inference) attacks. Our defense against label-flipping poison attacks, SS-DPA, uses a semi-supervised learning algorithm as its base classifier model: each base classifier is trained using the entire unlabeled training set in addition to the labels for a partition. SS-DPA significantly outperforms the existing certified defense for label-flipping attacks (Rosenfeld et al., 2020) on both MNIST and CIFAR-10: provably tolerating, for at least half of test images, over 600 label flips (vs. < 200 label flips) on MNIST and over 300 label flips (vs. 175 label flips) on CIFAR-10. Against general poisoning attacks where no prior certified defenses exists, DPA can certify ≥ 50% of test images against over 500 poison image insertions on MNIST, and nine insertions on CIFAR-10. These results establish new state-of-the-art provable defenses against general and label-flipping poison attacks.

研究动机与目标

• 开发一种可证明的防御机制，以抵御涉及插入、删除或图像/标签失真等有限数量训练样本的通用投毒攻击。
• 设计一种专门针对标签翻转投毒攻击的认证防御方法，其鲁棒性优于先前工作。
• 在通用与标签翻转投毒威胁下，建立认证鲁棒性的新SOTA（最先进）水平。
• 利用集成学习与半监督训练提升认证保证，同时保持高准确率。
• 为每个测试样本提供理论认证，量化使预测结果被破坏所需的最小投毒强度。

提出的方法

• DPA使用随机哈希函数对训练集进行划分，基于不相交的子集训练基础模型，形成集成模型。
• 最终预测通过基础模型的多数投票决定，其鲁棒性通过改变预测所需最少样本数的下界进行认证。
• SS-DPA通过引入半监督学习扩展DPA：每个基础模型在完整未标记数据及自身划分中的标签上进行训练，从而提升对标签翻转攻击的鲁棒性。
• 认证依赖于组合论证，以限制改变集成预测所需的标签或数据扰动数量。
• 该方法继承了子集聚合与随机平滑的特性，结合两者优势以实现对投毒攻击的防御。
• 通过划分结构与投票机制的特性，高效计算鲁棒性认证，支持实际部署。

实验结果

研究问题

• RQ1 能否构建一种认证防御机制，可可证明地抵抗涉及有限数量训练样本插入、删除或失真的通用投毒攻击？
• RQ2 该防御的半监督变体是否能显著提升对标签翻转攻击的鲁棒性，相比现有认证防御方法？
• RQ3 在给定测试样本下，该框架最多可认证多少次投毒扰动（插入或标签翻转）？
• RQ4 所提出的防御方法在标准基准数据集（如MNIST与CIFAR-10）上的性能与先前认证防御相比如何？
• RQ5 DPA的集成结构是否能在相同威胁模型下，提供比现有方法更强的理论保证？

主要发现

• DPA在MNIST上对至少50%的测试图像实现鲁棒性认证，可抵御超过500次投毒图像插入，创下新SOTA纪录。
• 在CIFAR-10上，DPA对至少一半测试图像提供对九次投毒插入的认证，展现出强大的通用投毒防御能力。
• SS-DPA在标签翻转攻击中优于先前认证防御方法，在MNIST上可容忍超过600次标签翻转（相较之前工作<200次）。
• 在CIFAR-10上，SS-DPA对超过300次标签翻转实现认证（相较之前工作175次），确立了新基准。
• 所提出的防御方法在通用与标签翻转投毒威胁模型下，均显著优于现有方法的认证鲁棒性。
• 划分、集成投票与半监督学习的结合，实现了强大的理论保证与标准数据集上的实用性能。