[论文解读] Exploiting the Inherent Limitation of L0 Adversarial Examples

Fei Zuo, Bokai Yang+3 more|arXiv (Cornell University)|Dec 23, 2018

Adversarial Robustness in Machine Learning参考文献 44被引用 4

一句话总结

本文提出AEPecker，一种新颖的防御系统，通过利用$L_0$对抗样本的固有局限性——极少数像素被污染但扰动幅度极高——来检测并修正此类对抗样本。该方法使用孪生网络比较输入图像与其修复后的版本，实现高精度检测与有效校正被错误分类的输入。

ABSTRACT

Despite the great achievements made by neural networks on tasks such as image classification, they are brittle and vulnerable to adversarial example (AE) attacks, which are crafted by adding human-imperceptible perturbations to inputs in order that a neural-network-based classifier incorrectly labels them. In particular, L0 AEs are a category of widely discussed threats where adversaries are restricted in the number of pixels that they can corrupt. However, our observation is that, while L0 attacks modify as few pixels as possible, they tend to cause large-amplitude perturbations to the modified pixels. We consider this as an inherent limitation of L0 AEs, and thwart such attacks by both detecting and rectifying them. The main novelty of the proposed detector is that we convert the AE detection problem into a comparison problem by exploiting the inherent limitation of L0 attacks. More concretely, given an image I, it is pre-processed to obtain another image I' . A Siamese network, which is known to be effective in comparison, takes I and I' as the input pair to determine whether I is an AE. A trained Siamese network automatically and precisely captures the discrepancies between I and I' to detect L0 perturbations. In addition, we show that the pre-processing technique, inpainting, used for detection can also work as an effective defense, which has a high probability of removing the adversarial influence of L0 perturbations. Thus, our system, called AEPECKER, demonstrates not only high AE detection accuracies, but also a notable capability to correct the classification results.

研究动机与目标

• 解决检测与防御$L_0$对抗样本的挑战，因其具有大振幅、稀疏扰动而难以应对。
• 克服先前防御方法在$L_0$攻击面前失效的局限，尤其是依赖特征压缩或图像压缩的防御方法。
• 利用$L_0$对抗样本的固有结构特性——稀疏且高振幅的像素修改——设计鲁棒的检测与校正机制。
• 开发一种防御系统，不仅能以高精度检测$L_0$对抗样本，还能将其校正以恢复正确的分类结果。
• 证明所提方法对能够绕过现有防御机制的自适应攻击具备鲁棒性。

提出的方法

• 使用基于图像修复的技术预处理输入图像$I$，生成修改后的图像$I'$，以去除$L_0$对抗样本特有的大振幅、孤立扰动。
• 将图像对$(I, I')$输入孪生神经网络，比较两幅图像，判断$I$是否为对抗样本。
• 利用孪生网络学习图像间细微差异的能力，实现对$L_0$扰动的精确检测。
• 将相同的图像修复预处理步骤用作防御机制，以去除对抗性影响并恢复模型的正确预测。
• 在真实良性图像与$L_0$对抗样本上端到端训练孪生网络，学习用于检测的判别性特征。
• 通过标准基准和对抗攻击（如Carlini-Wagner $L_0$（CW-$L_0$））验证系统，证明其对自适应攻击的鲁棒性。

实验结果

研究问题

• RQ1 能否利用$L_0$对抗样本的固有结构限制——稀疏且高振幅的像素污染——来构建更有效的检测机制？
• RQ2 孪生网络架构能否通过比较原始图像与修复后版本，有效检测$L_0$对抗样本？
• RQ3 图像修复预处理步骤是否不仅能检测还能校正$L_0$对抗样本，以恢复正确分类？
• RQ4 所提方法在面对能绕过传统防御机制（如特征压缩或图像压缩）的自适应攻击时表现如何？
• RQ5 该系统的检测与校正能力是否在不同神经网络架构与数据集上具备泛化能力？

主要发现

• 基于孪生网络的检测器通过利用原始图像与修复图像之间的结构差异，对$L_0$对抗样本实现了高检测精度。
• 基于图像修复的预处理步骤能有效去除大振幅、稀疏扰动，显著提升$L_0$对抗样本上的分类准确率。
• AEPecker对自适应攻击表现出强鲁棒性，包括能绕过特征压缩与压缩类防御的攻击。
• 与现有防御方法（如JPEG压缩、PCA、特征压缩）相比，该方法在处理$L_0$攻击方面表现更优，尤其在纠正错误分类预测方面优势明显。
• 该系统在不同基础分类器（包括ResNet与CNN）上均保持高性能，表明其具备良好的泛化潜力。
• 研究证实，$L_0$攻击本质上受限于其无法控制扰动幅度，这一特性可被有效用于检测与校正。