[论文解读] Improved Certified Defenses against Data Poisoning with (Deterministic) Finite Aggregation

Wenxiao Wang, Alexander Levine+1 more|arXiv (Cornell University)|Feb 5, 2022

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文提出有限聚合（Finite Aggregation），一种针对数据中毒攻击的认证防御方法，通过在重叠的基分类器之间战略性地重用训练样本，提升模型鲁棒性。通过将数据划分为较小的不相交子集，再将副本扩散到更大的非不相交子集中，该方法降低了中毒样本的最坏情况影响，实现了最先进的认证鲁棒性——在GTSRB上将认证分数最高提升了4.77%，同时保持了DPA的干净准确率。

ABSTRACT

Data poisoning attacks aim at manipulating model behaviors through distorting training data. Previously, an aggregation-based certified defense, Deep Partition Aggregation (DPA), was proposed to mitigate this threat. DPA predicts through an aggregation of base classifiers trained on disjoint subsets of data, thus restricting its sensitivity to dataset distortions. In this work, we propose an improved certified defense against general poisoning attacks, namely Finite Aggregation. In contrast to DPA, which directly splits the training set into disjoint subsets, our method first splits the training set into smaller disjoint subsets and then combines duplicates of them to build larger (but not disjoint) subsets for training base classifiers. This reduces the worst-case impacts of poison samples and thus improves certified robustness bounds. In addition, we offer an alternative view of our method, bridging the designs of deterministic and stochastic aggregation-based certified defenses. Empirically, our proposed Finite Aggregation consistently improves certificates on MNIST, CIFAR-10, and GTSRB, boosting certified fractions by up to 3.05%, 3.87% and 4.77%, respectively, while keeping the same clean accuracies as DPA's, effectively establishing a new state of the art in (pointwise) certified robustness against data poisoning.

研究动机与目标

• 应对日益增长的数据中毒攻击威胁，此类攻击通过污染的训练数据操纵模型行为。
• 在不牺牲干净准确率的前提下，改进先前的确定性认证防御方法——深度划分聚合（DPA），以增强其鲁棒性。
• 开发一种方法，通过在基分类器之间战略性地重用训练样本，提供对通用中毒攻击更强的可证明鲁棒性。
• 通过提供对认证鲁棒性的统一视角，弥合确定性与随机聚合防御之间的设计差距。
• 在多个基准数据集上建立点对点认证鲁棒性的新SOTA。

提出的方法

• 使用哈希函数 h_split 将训练集划分为 kd 个不相交的子集，其中 k 和 d 为超参数。
• 使用第二个哈希函数 h_spread 将每个子集扩散到 d 个不同的子集中，生成 kd 个重叠的训练子集。
• 为每个子集训练一个基分类器，共得到 kd 个分类器，其训练样本以结构化方式重叠。
• 在推理阶段，通过所有 kd 个分类器的多数投票进行预测，利用集成鲁棒性来限制中毒样本的影响。
• 理论分析表明，任何中毒样本对归一化边距的敏感度随 O(1/k) 变化，从而降低最坏情况的影响。
• 通过增加 d 可减少投票中的平局情况，从而提升鲁棒性，并有助于在攻击下保持较高的认证分数。

实验结果

研究问题

• RQ1 与不相交子集相比，基于聚合的防御中使用重叠训练子集是否能提升对数据中毒攻击的认证鲁棒性？
• RQ2 在多个基分类器之间战略性地重用训练样本，对中毒样本的最坏情况影响有何影响？
• RQ3 像有限聚合这样的确定性聚合方法，在多大程度上可以匹配或超越随机方法的鲁棒性？
• RQ4 在调整超参数 k 和 d 时，计算成本、鲁棒性与干净准确率之间的权衡如何？
• RQ5 在基于聚合的防御中，点对点认证鲁棒性（认证分数）与分布鲁棒性（认证准确率）在实证上如何比较？

主要发现

• 与 DPA 相比，有限聚合在 MNIST 上将认证分数提升最高达 3.05%，在 CIFAR-10 上提升 3.87%，在 GTSRB 上提升 4.77%，在点对点认证鲁棒性方面达到新SOTA。
• 该方法在所有数据集上均保持与 DPA 相同的干净准确率，证实鲁棒性提升并未以干净数据性能为代价。
• 增加扩散度 d 可在不降低基分类器准确率的情况下提升鲁棒性，因为平均子集大小保持不变。
• 更大的 d 可减少多数投票中的平局情况，从而提升认证分数，尤其在攻击规模较大时更为明显。
• 理论分析证实，对中毒样本的敏感度随 O(1/k) 变化，支持了 k 越大时鲁棒性提升的观察结果。
• 实证比较表明，认证分数始终低于认证准确率，凸显了点对点鲁棒性与分布鲁棒性之间的区别。