[论文解读] Defense against Adversarial Attacks Using High-Level Representation Guided Denoiser

Fangzhou Liao, Ming Liang+4 more|arXiv (Cornell University)|Dec 8, 2017

Adversarial Robustness in Machine Learning参考文献 24被引用 22

一句话总结

本文提出高阶表征引导去噪器（HGD），一种防御方法，通过利用干净图像与对抗性图像在顶层模型输出中的差异来训练去噪器，从而克服标准去噪器中常见的误差放大效应。HGD在白盒和黑盒攻击下均实现了最先进水平的鲁棒性，优于集成对抗训练，并在NIPS 2017对抗防御竞赛中以高准确率和快速推理速度获得第一名。

ABSTRACT

Neural networks are vulnerable to adversarial examples, which poses a threat to their application in security sensitive systems. We propose high-level representation guided denoiser (HGD) as a defense for image classification. Standard denoiser suffers from the error amplification effect, in which small residual adversarial noise is progressively amplified and leads to wrong classifications. HGD overcomes this problem by using a loss function defined as the difference between the target model's outputs activated by the clean image and denoised image. Compared with ensemble adversarial training which is the state-of-the-art defending method on large images, HGD has three advantages. First, with HGD as a defense, the target model is more robust to either white-box or black-box adversarial attacks. Second, HGD can be trained on a small subset of the images and generalizes well to other images and unseen classes. Third, HGD can be transferred to defend models other than the one guiding it. In NIPS competition on defense against adversarial attacks, our HGD solution won the first place and outperformed other models by a large margin.

研究动机与目标

• 为解决标准去噪器中的误差放大效应，即微小对抗扰动在深层网络层中被放大，导致误分类的问题。
• 开发一种对白盒和黑盒对抗攻击均具有鲁棒性的防御方法，且无需依赖大量训练数据。
• 实现对未见类别和不同目标模型的泛化能力与可迁移性。
• 相比现有最先进防御方法（如集成对抗训练），提升推理速度与鲁棒性。

提出的方法

• HGD使用基于干净图像与去噪图像在目标模型中logits（高阶表征）差异的损失函数进行去噪器训练，而非基于像素级别的重建损失。
• 去噪器被训练以最小化目标模型对干净图像与去噪图像预测结果之间的差异，从而有效抑制对抗扰动。
• 该方法利用对抗样本的可迁移性，通过预训练的目标模型指导去噪过程。
• HGD在少量图像子集上进行训练，且能很好地泛化到其他图像和未见类别，从而降低数据与训练时间需求。
• 训练过程中使用FGSM和迭代攻击进行评估，并通过模型集成提升鲁棒性。
• HGD作为对抗性转换器，可将对抗输入转化为更易分类的形式，即使像素级噪声有所增加。

实验结果

研究问题

• RQ1 是否可通过高阶模型表征引导的去噪器有效降低对抗扰动的影响？
• RQ2 使用顶层模型输出作为监督信号，是否能防止标准去噪器中常见的误差放大效应？
• RQ3 HGD是否能在极小训练数据下良好泛化到未见类别及其他图像？
• RQ4 HGD是否可在不同目标模型之间实现可迁移性，从而防御训练中未使用的模型？
• RQ5 与集成对抗训练等最先进防御方法相比，HGD在鲁棒性与推理速度方面表现如何？

主要发现

• HGD在NIPS 2017对抗防御竞赛中获得0.9532的归一化得分，显著优于第二名（0.9235）。
• HGD在白盒与黑盒攻击下均表现出卓越鲁棒性，竞赛中成功抵御91次非目标攻击与65次目标攻击。
• HGD的平均评估时间仅为50.24秒，优于其他顶尖方法（86.44至127.39秒），推理速度更快。
• HGD能良好泛化到未见类别，且仅需少量训练图像，而无需大量数据，与数据密集型方法（如集成对抗训练）形成对比。
• 尽管在某些情况下像素级噪声增加，HGD仍通过使去噪图像与干净图像的顶层模型预测对齐，有效抑制了对抗扰动。
• 二维直方图分析表明，HGD预测的扰动与原始对抗噪声高度相关，证实了对有害扰动的有效抑制。