[论文解读] Deep Partition Aggregation: Provable Defense against General Poisoning Attacks

Alexander Levine, Soheil Feizi|arXiv (Cornell University)|Jun 25, 2020

Adversarial Robustness in Machine Learning被引用 16

一句话总结

本文提出了深度分区聚合（DPA）和半监督DPA（SS-DPA），分别作为针对通用投毒攻击和标签翻转攻击的新型可证明防御方法。通过在训练数据的哈希分区上训练集成模型，DPA 提供了可证明的鲁棒性保证：它证明在超过500次投毒插入下，至少50%的MNIST测试图像保持鲁棒性，且在CIFAR-10上对9张图像可抵御9次插入；而SS-DPA在MNIST上可容忍超过600次标签翻转，在CIFAR-10上可容忍超过300次，优于先前工作。

ABSTRACT

Adversarial poisoning attacks distort training data in order to corrupt the test-time behavior of a classifier. A provable defense provides a certificate for each test sample, which is a lower bound on the magnitude of any adversarial distortion of the training set that can corrupt the test sample's classification. We propose two novel provable defenses against poisoning attacks: (i) Deep Partition Aggregation (DPA), a certified defense against a general poisoning threat model, defined as the insertion or deletion of a bounded number of samples to the training set -- by implication, this threat model also includes arbitrary distortions to a bounded number of images and/or labels; and (ii) Semi-Supervised DPA (SS-DPA), a certified defense against label-flipping poisoning attacks. DPA is an ensemble method where base models are trained on partitions of the training set determined by a hash function. DPA is related to both subset aggregation, a well-studied ensemble method in classical machine learning, as well as to randomized smoothing, a popular provable defense against evasion attacks. Our defense against label-flipping attacks, SS-DPA, uses a semi-supervised learning algorithm as its base classifier model: each base classifier is trained using the entire unlabeled training set in addition to the labels for a partition. SS-DPA significantly outperforms the existing certified defense for label-flipping attacks on both MNIST and CIFAR-10: provably tolerating, for at least half of test images, over 600 label flips (vs. < 200 label flips) on MNIST and over 300 label flips (vs. 175 label flips) on CIFAR-10. Against general poisoning attacks, where no prior certified defenses exists, DPA can certify >= 50% of test images against over 500 poison image insertions on MNIST, and nine insertions on CIFAR-10. These results establish new state-of-the-art provable defenses against poisoning attacks.

研究动机与目标

• 开发一种针对通用投毒攻击的可证明防御机制，其中攻击者可插入或删除有限数量的训练样本。
• 通过提升更高鲁棒性阈值，改进现有针对标签翻转攻击的可证明防御方法。
• 设计一种在训练样本或标签遭受任意扰动（包括标签翻转和样本插入）时仍保持鲁棒性的可证明防御方法。
• 利用集成学习与半监督训练，在对数据分布假设极少的前提下，实现强大的认证保证。
• 提供一种实用且可扩展的防御方法，在保持高干净准确率的同时，为每个测试样本提供可验证的鲁棒性证书。

提出的方法

• DPA 构建一个基础分类器的集成模型，每个分类器在训练集的互不相交分区上进行训练，分区由对输入样本应用哈希函数确定。
• 最终预测通过所有基础分类器的多数投票得出，认证过程基于在扰动下样本预测结果保持一致的最小分区数量。
• 对于SS-DPA，每个基础分类器使用完整的未标记训练集以及其分配分区中的标记样本进行训练，从而实现更优的特征学习与鲁棒性。
• 认证机制通过集成结构与各分区间标签的一致性，计算出改变最终预测所需最少的标签翻转或样本插入次数，作为下界。
• 由于基于样本值的分区保持一致，因此影响同一样本的标签翻转在认证中被视为单一扰动。
• 该框架设计兼容监督学习与自监督表示学习（如SimCLR），从而提升特征质量与鲁棒性。

实验结果

研究问题

• RQ1 能否构建一种针对包含样本插入、删除以及标签或特征操纵的通用投毒攻击的可证明防御？
• RQ2 如何调整集成方法，使其在对数据分布假设极少的前提下，为投毒攻击提供可证明的鲁棒性？
• RQ3 与纯监督基线相比，半监督学习能否提升可证明防御在标签翻转攻击下的鲁棒性？
• RQ4 在仍能为多数测试图像认证正确预测的前提下，最多可容忍多少次标签翻转？
• RQ5 基础模型架构与表示学习方法的选择如何影响DPA与SS-DPA的认证性能？

主要发现

• DPA 证明至少50%的MNIST测试图像在超过500次投毒样本插入下保持鲁棒性，显著优于先前针对通用投毒攻击的可证明防御方法。
• 在CIFAR-10上，DPA 证明至少9%的测试图像可抵御9次插入，展示了在高维设置下的强可证明鲁棒性。
• SS-DPA 在MNIST上实现对超过600次标签翻转的可证明鲁棒性，在CIFAR-10上实现对超过300次标签翻转的可证明鲁棒性，分别超越了先前最先进水平（200次与175次）。
• 在GTSRB上，使用直方图均衡化作为预处理可提升DPA性能，尤其当基础分类器数量较多（k=100）时，对光照变化的处理更优。
• 对于DPA，增加基础分类器数量（k）可同时提升干净准确率与认证鲁棒性，当k=100时，在GTSRB上达到77.81%的干净准确率与21的中位数认证鲁棒性。
• SS-DPA 在MNIST上保持了89.20%的高干净准确率与20的中位数认证鲁棒性，且在所有攻击规模下均显著优于Rosenfeld等人（2020）的认证准确率。