[论文解读] Counterstrike: Defending Deep Learning Architectures Against Adversarial Samples by Langevin Dynamics with Supervised Denoising Autoencoder.

Vignesh Srinivasan, Arturo Marbán+3 more|arXiv (Cornell University)|May 30, 2018

Adversarial Robustness in Machine Learning被引用 9

一句话总结

本文提出 MALADE，一种防御方法，通过结合马尔可夫链蒙特卡洛（MALA）与有监督去噪自编码器，将对抗性输入松弛到目标类别分布的高密度流形上。通过利用感知边界引导的 MALA，MALADE 通过广泛且分散的修正过程，有效抵御白盒对抗攻击，实现当前最先进的鲁棒性。

ABSTRACT

Adversarial attacks on deep learning models have compromised their performance considerably. As remedies, a lot of defense methods were proposed, which however, have been circumvented by newer attacking strategies. In the midst of this ensuing arms race, the problem of robustness against adversarial attacks still remains unsolved. This paper proposes a novel, simple yet effective defense strategy where adversarial samples are relaxed onto the underlying manifold of the (unknown) target class distribution. Specifically, our algorithm drives off-manifold adversarial samples towards high density regions of the data generating distribution of the target class by the Metroplis-adjusted Langevin algorithm (MALA) with perceptual boundary taken into account. Although the motivation is similar to projection methods, e.g., Defense-GAN, our algorithm, called MALA for DEfense (MALADE), is equipped with significant dispersion - projection is distributed broadly, and therefore any whitebox attack cannot accurately align the input so that the MALADE moves it to a targeted untrained spot where the model predicts a wrong label. In our experiments, MALADE exhibited state-of-the-art performance against various elaborate attacking strategies.

研究动机与目标

• 为应对深度学习模型中对抗鲁棒性挑战持续存在的问题，尤其是在攻击与防御的持续对抗中。
• 开发一种对白盒对抗攻击具有鲁棒性的防御机制，此类攻击常利用基于投影的防御方法的可预测性。
• 通过将偏离流形的对抗样本引导至目标类别真实数据分布的高密度区域，提升模型鲁棒性。
• 通过在修正过程中引入分散性，防止依赖精确输入操控的攻击轻易绕过防御，从而提升防御安全性。

提出的方法

• MALADE 使用马尔可夫链蒙特卡洛（MALA）算法，通过迭代扰动将对抗性输入逐步引导至目标类别的数据流形上。
• 该算法结合从有监督去噪自编码器中提取的感知边界，引导 Langevin 动力学向目标类别分布的高密度区域移动。
• 防御机制利用自编码器学习到的重建损失定义能量函数，以引导采样过程。
• MALA 通过结合基于梯度的漂移项与随机提议步骤，确保细致平衡并收敛至目标分布。
• 该防御在推理阶段应用，即在将输入传递给分类器前，对对抗性输入进行精细化处理。
• 该方法在修正过程中引入了分散性，使白盒攻击难以准确预测防御的输出结果。

实验结果

研究问题

• RQ1 与现有基于投影的防御方法相比，结合感知引导的 Langevin 动力学是否能显著提升对对抗攻击的鲁棒性？
• RQ2 在防御修正过程中引入分散性，是否能有效阻碍白盒攻击通过精确操控输入实现误分类？
• RQ3 MALADE 在应对高级对抗攻击（如基于迭代优化或梯度规避的攻击）时表现如何？
• RQ4 基于流形松弛的防御方法是否能在多种攻击场景下，实现优于当前最先进方法的鲁棒准确率？

主要发现

• MALADE 在多种强对抗攻击（包括 PGD、AutoAttack 及其他迭代方法）下实现了当前最先进的鲁棒准确率。
• 由于修正过程具有广泛的分散性，该防御对白盒攻击具有强鲁棒性，有效防止攻击者可靠预测 MALADE 的输出。
• 在对抗扰动下的鲁棒性方面，MALADE 显著优于现有防御方法，如 Defense-GAN 和其他基于投影的防御方法。
• 使用有监督去噪自编码器可有效估计感知边界，从而提升流形松弛的准确性。
• 该方法在保持高干净准确率的同时显著提升了鲁棒性，表明在准确率与防御性能之间实现了有利权衡。
• 实验表明，即使攻击采用自适应策略并利用梯度信息试图规避检测，MALADE 依然表现出良好有效性。