[论文解读] Image Shortcut Squeezing: Countering Perturbative Availability Poisons with Compression

Zhuoran Liu, Zhengyu Zhao+1 more|arXiv (Cornell University)|Jan 31, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出图像快捷压缩（ISS），一种基于压缩的简单方法，能有效恢复因扰动可用性毒化攻击（PAPs）而退化的模型准确率。通过利用PAP扰动的频率依赖性——轻微训练的代理模型产生低频扰动，完全训练的代理模型产生高频扰动——ISS使用灰度和JPEG压缩来消除这些快捷方式，实现81.73%的CIFAR-10准确率，比先前的对策高出37.97个百分点，并在泛化能力和效率方面优于对抗训练。

ABSTRACT

Perturbative availability poisons (PAPs) add small changes to images to prevent their use for model training. Current research adopts the belief that practical and effective approaches to countering PAPs do not exist. In this paper, we argue that it is time to abandon this belief. We present extensive experiments showing that 12 state-of-the-art PAP methods are vulnerable to Image Shortcut Squeezing (ISS), which is based on simple compression. For example, on average, ISS restores the CIFAR-10 model accuracy to $81.73\%$, surpassing the previous best preprocessing-based countermeasures by $37.97\%$ absolute. ISS also (slightly) outperforms adversarial training and has higher generalizability to unseen perturbation norms and also higher efficiency. Our investigation reveals that the property of PAP perturbations depends on the type of surrogate model used for poison generation, and it explains why a specific ISS compression yields the best performance for a specific type of PAP perturbation. We further test stronger, adaptive poisoning, and show it falls short of being an ideal defense against ISS. Overall, our results demonstrate the importance of considering various (simple) countermeasures to ensure the meaningfulness of analysis carried out during the development of PAP methods.

研究动机与目标

• 挑战一种广泛持有的信念，即针对扰动可用性毒化攻击（PAPs）不存在实用且有效的对策。
• 研究12种最先进PAP方法对简单图像压缩技术的脆弱性。
• 揭示PAP扰动频率与毒化生成过程中所用代理模型类型之间的依赖关系。
• 开发一种可泛化、高效且准确率损失低的PAP对策。
• 评估自适应、具备ISS意识的PAP方法对所提出的ISS防御的鲁棒性。

提出的方法

• 根据毒化生成过程中使用的代理模型类型，将12种PAP方法分类：轻微训练、完全训练和无代理模型。
• 分析PAP扰动的频率特性，表明轻微训练的代理模型产生低频快捷方式，而完全训练的代理模型产生高频快捷方式。
• 提出图像快捷压缩（ISS），一种预处理防御方法，通过灰度压缩去除低频快捷方式，通过JPEG压缩消除高频快捷方式。
• 仅对训练数据应用ISS以避免分布偏移，并评估其在训练数据和测试数据压缩变体上的性能。
• 结合低频和高频毒化（如EM和TAP）测试ISS对混合扰动攻击的鲁棒性。
• 评估ISS对旨在规避ISS的自适应PAP方法的防御效果，评估其有效性并揭示模型学习偏好。

实验结果

研究问题

• RQ1 尽管普遍认为不存在有效的对策，但最先进的PAP方法是否仍对简单图像压缩技术脆弱？
• RQ2 在毒化生成过程中使用的代理模型类型如何影响PAP扰动的频率特性？
• RQ3 一种单一的基于压缩的方法能否有效应对具有不同扰动频率的多种PAP方法？
• RQ4 在Lp范数的泛化能力与干净模型准确率的权衡方面，ISS与对抗训练相比如何？
• RQ5 能够预判ISS的自适应PAP方法是否仍能规避检测？它们揭示了关于模型学习偏好的哪些见解？

主要发现

• 当应用于中毒数据时，ISS将CIFAR-10模型准确率平均恢复至81.73%，比之前最佳的基于预处理的对策高出37.97个百分点。
• ISS优于数据增强和预过滤对策，且在不同Lp范数下的泛化能力与对抗训练相当，但效率显著更高。
• 即使仅对训练数据应用ISS，其有效性依然很高，且分布偏移极小，表现为测试数据也压缩时性能几乎完全一致。
• 该方法极为高效，无需微调且计算开销极低，而对抗训练则带来高昂的训练成本。
• 旨在规避ISS的自适应PAP方法仍无法维持高毒化有效性，表明ISS仍是一种强有力的防御手段。
• 本研究揭示PAP扰动强烈依赖于代理模型的训练阶段：轻微训练模型倾向于产生低频快捷方式，完全训练模型则倾向于产生高频快捷方式。