[论文解读] Defense Against Adversarial Attacks with Saak Transform

Sibo Song, Yueru Chen+2 more|arXiv (Cornell University)|Aug 6, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用 21

一句话总结

本文提出了一种轻量级、非可微的防御方法，利用Saak变换将图像转换为联合空域-谱域表示，通过滤除高频分量以去除对抗性扰动，并在分类前重建图像。该方法在CIFAR-10和ImageNet上均实现了最先进（SOTA）的鲁棒准确率，优于现有防御方法，且无需对抗性训练或模型修改。

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial perturbations, which imposes a serious threat to DNN-based decision systems. In this paper, we propose to apply the lossy Saak transform to adversarially perturbed images as a preprocessing tool to defend against adversarial attacks. Saak transform is a recently-proposed state-of-the-art for computing the spatial-spectral representations of input images. Empirically, we observe that outputs of the Saak transform are very discriminative in differentiating adversarial examples from clean ones. Therefore, we propose a Saak transform based preprocessing method with three steps: 1) transforming an input image to a joint spatial-spectral representation via the forward Saak transform, 2) apply filtering to its high-frequency components, and, 3) reconstructing the image via the inverse Saak transform. The processed image is found to be robust against adversarial perturbations. We conduct extensive experiments to investigate various settings of the Saak transform and filtering functions. Without harming the decision performance on clean images, our method outperforms state-of-the-art adversarial defense methods by a substantial margin on both the CIFAR-10 and ImageNet datasets. Importantly, our results suggest that adversarial perturbations can be effectively and efficiently defended using state-of-the-art frequency analysis.

研究动机与目标

• 解决深度神经网络对对抗性扰动的脆弱性，这些扰动可使模型以高置信度被欺骗。
• 开发一种高效、非可微的防御机制，无需对抗性训练或标签信息。
• 探究通过Saak变换进行频域分析是否能有效区分并滤除对抗性噪声，同时保持干净图像的性能。
• 评估不同滤波策略（缩放、截断、截断）在多种数据集和攻击类型下的对抗鲁棒性表现。

提出的方法

• 对输入图像应用前向Saak变换，生成联合空域-谱域表示。
• 使用三种策略之一（系数缩放、截断或截断）对Saak变换表示的高频分量进行滤波。
• 使用逆Saak变换重建图像，生成分类器的预处理输入。
• 将系数截断作为最优滤波策略，仅保留最具代表性的谱分量。
• 将基于Saak的预处理作为轻量级、非可微的前端模块，集成到现有DNN中，无需修改模型架构。
• 将Saak防御与空间去噪方法（如中值平滑）级联，以进一步提升在强攻击（如$CW_0$）下的鲁棒性。

实验结果

研究问题

• RQ1 Saak变换能否基于其空域-谱域表示有效区分对抗性图像与干净图像？
• RQ2 在Saak域中滤除高频分量是否能降低对抗性扰动的影响，同时不损害干净图像的准确率？
• RQ3 在对抗鲁棒性和干净图像准确率方面，不同滤波策略（缩放、截断、截断）的表现如何比较？
• RQ4 基于Saak的防御能否与其它预处理技术结合，以进一步提升在强攻击（如$CW_0$）下的鲁棒性？
• RQ5 在CIFAR-10和ImageNet上，针对多种攻击类型，基于Saak变换的防御与最先进防御方法相比，其鲁棒性表现如何？

主要发现

• 基于Saak变换的防御在CIFAR-10上所有攻击下的平均鲁棒准确率达到78.67%，显著优于先前方法。
• 在ImageNet数据集上，该方法在所有攻击下实现了62.67%的鲁棒准确率，超越所有对比防御方法。
• 截断滤波策略优于缩放和截断，在所有评估设置中均实现了最高的鲁棒准确率。
• 该方法在干净图像准确率方面表现良好（在CIFAR-10上为90%，在ImageNet上与中值平滑结合时为86%），表明对良性输入的性能降级极小。
• 将Saak防御与中值平滑级联后，ImageNet上$CW_0$攻击的鲁棒性从62.67%提升至66.33%，表明其与空间去噪方法具有良好的互补性。
• 该防御在多种攻击类型下均表现有效，包括FGSM、BIM、DeepFool以及$CW$-norm变体，尤其在$CW_2$和$CW_i$攻击下表现尤为出色。