[论文解读] FenceBox: A Platform for Defeating Adversarial Examples with Data Augmentation Techniques

Han Qiu, Yi Zeng+3 more|arXiv (Cornell University)|Dec 3, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用 15

一句话总结

FenceBox 是一种新颖的防御平台，利用15种数据增强技术——分为图像失真、压缩和噪声注入三类——以减轻深度神经网络中的对抗样本。通过结合不可微分和可微分的预处理函数（例如 FD+RDG），它能有效抵御标准攻击和高级攻击（如 PGD 和 BPDA+EOT），在50轮自适应攻击后，最高实现55%的干净准确率和17%的攻击成功率。

ABSTRACT

It is extensively studied that Deep Neural Networks (DNNs) are vulnerable to Adversarial Examples (AEs). With more and more advanced adversarial attack methods have been developed, a quantity of corresponding defense solutions were designed to enhance the robustness of DNN models. It has become a popularity to leverage data augmentation techniques to preprocess input samples before inference to remove adversarial perturbations. By obfuscating the gradients of DNN models, these approaches can defeat a considerable number of conventional attacks. Unfortunately, advanced gradient-based attack techniques (e.g., BPDA and EOT) were introduced to invalidate these preprocessing effects. In this paper, we present FenceBox, a comprehensive framework to defeat various kinds of adversarial attacks. FenceBox is equipped with 15 data augmentation methods from three different categories. We comprehensively evaluated that these methods can effectively mitigate various adversarial attacks. FenceBox also provides APIs for users to easily deploy the defense over their models in different modes: they can either select an arbitrary preprocessing method, or a combination of functions for a better robustness guarantee, even under advanced adversarial attacks. We open-source FenceBox, and expect it can be used as a standard toolkit to facilitate the research of adversarial attacks and defenses.

研究动机与目标

• 应对深度学习模型中对抗样本日益增长的威胁，特别是在自动驾驶和家庭自动化等安全关键应用中。
• 克服现有防御方法的局限性，这些方法需要重新训练模型或仅针对特定类型的攻击。
• 开发一种通用、轻量级且保持可用性的防御框架，基于输入预处理。
• 提供一个统一的开源平台，以促进对抗鲁棒性研究和防御评估。

提出的方法

• 设计一个模块化平台 FenceBox，集成15种数据增强函数，涵盖三类：图像失真（如随机裁剪、颜色抖动）、压缩（如JPEG、高斯模糊）和噪声注入（如随机噪声、随机下采样）。
• 将预处理函数作为不可微变换 $ g = g_1 \circ g_2 $ 应用，其中 $ g_1 $ 为可微分函数（如随机下采样），$ g_2 $ 为不可微分函数（如随机裁剪），以干扰基于梯度的攻击。
• 使用迭代自适应攻击（如基于 $ g_1 $ 的EOT）评估鲁棒性，模拟攻击者通过仅针对可微分组件逆向工程防御机制。
• 组合多个函数（如 FD×3+RDG）以增强防御强度，利用弱函数组合可产生更强鲁棒性的原理。
• 采用 LIME 实现局部可解释性，可视化并验证预处理是否使对抗样本中的显著特征恢复为与干净输入一致。
• 在多种攻击类型下评估防御效果：FGSM、IFGSM、C&W、LBFGS、PGD 和 BPDA+EOT，测量干净准确率（ACC）和攻击成功率（ASR）。

实验结果

研究问题

• RQ1 通用、轻量级的数据增强函数组合是否能有效防御标准和高级基于梯度的对抗攻击？
• RQ2 不可微分与可微分预处理函数的组合如何影响对自适应攻击（如 BPDA 和 EOT）的鲁棒性？
• RQ3 当堆叠多个相同函数实例（如 FD×3+RDG）时，与单个实例相比，防御的鲁棒性提升程度如何？
• RQ4 像 LIME 这类可视化解释方法是否能确认预处理已使模型对对抗输入中原始有意义特征的关注得以恢复？
• RQ5 针对预处理流水线中仅可微分部分的自适应攻击，其计算成本和实际可行性如何？

主要发现

• FD（随机下采样）与 RDG（随机高斯模糊）的组合将 BPDA+EOT 攻击下的攻击成功率（ASR）降低至 0.06%，展现出对高级攻击的强大抵抗力。
• 在50轮自适应EOT攻击后，FD+RDG防御仍保持40%的干净准确率和40%的ASR，表明存在部分脆弱性但攻击成本极高。
• 堆叠三个FD操作（FD×3+RDG）使干净准确率提升至55%，ASR降低至17%（50轮后），显著增强了鲁棒性。
• 实现90% ASR所需的攻击轮数超过7,000轮（FD+RDG）、超过10,000轮（FD×2+RDG）和超过10,000轮（FD×3+RDG），表明复杂度增加后收益递减。
• LIME 可视化结果证实，使用 FD+RDG 的预处理使注意力图恢复为与干净图像相似的形态，验证了对抗扰动的消除。
• 该平台的开源发布使研究人员能够系统评估和组合预处理函数，推动可复现且可扩展的防御研究。