[论文解读] Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors

Sizhe Chen, Geng Yuan+5 more|arXiv (Cornell University)|Nov 22, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出自集成保护（Self-Ensemble Protection, SEP），一种新颖的数据中毒方法，通过利用单个深度神经网络训练检查点的梯度，生成在训练期间能持续规避分类的不可察觉扰动。通过利用检查点之间梯度的高多样性——类似于具有不同架构的模型——SEP实现了最先进性能，在 CIFAR-10 上将 ResNet18 的准确率从 94.56% 降低至 14.68%（ℓ∞=2/255），显著优于先前方法。

ABSTRACT

As data becomes increasingly vital, a company would be very cautious about releasing data, because the competitors could use it to train high-performance models, thereby posing a tremendous threat to the company's commercial competence. To prevent training good models on the data, we could add imperceptible perturbations to it. Since such perturbations aim at hurting the entire training process, they should reflect the vulnerability of DNN training, rather than that of a single model. Based on this new idea, we seek perturbed examples that are always unrecognized (never correctly classified) in training. In this paper, we uncover them by model checkpoints' gradients, forming the proposed self-ensemble protection (SEP), which is very effective because (1) learning on examples ignored during normal training tends to yield DNNs ignoring normal examples; (2) checkpoints' cross-model gradients are close to orthogonal, meaning that they are as diverse as DNNs with different architectures. That is, our amazing performance of ensemble only requires the computation of training one model. By extensive experiments with 9 baselines on 3 datasets and 5 architectures, SEP is verified to be a new state-of-the-art, e.g., our small $\ell_\infty=2/255$ perturbations reduce the accuracy of a CIFAR-10 ResNet18 from 94.56% to 14.68%, compared to 41.35% by the best-known method. Code is available at https://github.com/Sizhe-Chen/SEP.

研究动机与目标

• 为解决深度学习训练过程对数据中毒的脆弱性，而非仅关注单个模型的鲁棒性。
• 开发一种实用且低成本的数据保护方法，通过利用中间训练检查点避免训练多个模型。
• 探究模型检查点是否可作为多样化集成用于有效数据中毒，挑战检查点过于相似而无法有效用于集成的假设。
• 通过引入特征对齐损失和方差减少技术，使不同检查点中的错误特征对齐，从而提升中毒效果。

提出的方法

• 该方法通过计算单个 DNN 多个中间训练检查点的梯度来生成保护性扰动，形成无需多个模型的自集成。
• 其利用检查点间梯度出人意料的正交性，表明其多样性可与不同架构模型相媲美。
• 提出一种新颖的特征对齐（FA）损失，将受保护样本的最后层特征压缩至错误类别特征的均值，从而加深模型混淆。
• 应用方差减少（VR）技术，通过平均多个检查点的梯度来稳定优化过程，提升鲁棒性与一致性。
• 结合 ℓ∞ 和 ℓ0 扰动以抵抗对抗训练防御，否则其他扰动类型会导致模型准确率恢复。
• 该方法被实现为一种目标导向的集成攻击，在存在神经坍缩和特征提取器的非分类任务中同样有效。

实验结果

研究问题

• RQ1 来自同一架构的单个模型训练检查点能否作为数据中毒的多样化集成，尽管其架构相同？
• RQ2 检查点之间的梯度多样性是否可与不同架构模型相媲美，从而实现有效的自集成保护？
• RQ3 一种将受保护样本特征对齐至错误类别均值的特征对齐损失，是否能显著降低模型泛化能力？
• RQ4 特征对齐与方差减少的结合是否为实现最先进中毒性能所必需？
• RQ5 混合使用 ℓ∞ 和 ℓ0 扰动是否能有效绕过 ℓ∞ 对抗训练，而后者通常会恢复其他扰动类型的模型准确率？

主要发现

• SEP 使用 ℓ∞=2/255 扰动将 CIFAR-10 上 ResNet18 的测试准确率从 94.56% 降低至 14.68%，显著优于最佳先前方法（41.35%）。
• 该方法仅需训练单个模型的计算成本，即可实现卓越性能，无需训练多个 DNN。
• 特征对齐（FA）与方差减少（VR）持续提升性能，SEP-FA-VR 在 CIFAR-10 上五种架构的平均准确率降低至 17.47%。
• 性能在约 30 个检查点后趋于饱和，表明该点之后收益递减，使方法具有计算高效性。
• 仅混合使用 ℓ∞ 和 ℓ0 扰动能有效抵抗 ℓ∞ 对抗训练，否则其他扰动类型会导致准确率恢复。
• 干净样本在特征空间中保持彼此接近，而受保护样本则被推入独立的分布，表明数据中毒效果显著。