[论文解读] Detecting Localized Adversarial Examples: A Generic Approach using Critical Region Analysis

Fengting Li, Xuankai Liu+4 more|arXiv (Cornell University)|Feb 10, 2021

Adversarial Robustness in Machine Learning参考文献 42被引用 5

一句话总结

TaintRadar 是一种通用的、无需训练的防御系统，通过分析深度神经网络特征图中的关键区域来检测局部对抗性样本。它通过分析关键区域对预测排名的影响来识别被篡改的区域，从而有效检测出在数字和物理环境中均具有隐蔽性的部分攻击，例如眼镜攻击。

ABSTRACT

Deep neural networks (DNNs) have been applied in a wide range of applications,e.g.,face recognition and image classification; however,they are vulnerable to adversarial examples. By adding a small amount of imperceptible perturbations,an attacker can easily manipulate the outputs of a DNN. Particularly,the localized adversarial examples only perturb a small and contiguous region of the target object,so that they are robust and effective in both digital and physical worlds. Although the localized adversarial examples have more severe real-world impacts than traditional pixel attacks,they have not been well addressed in the literature. In this paper,we propose a generic defense system called TaintRadar to accurately detect localized adversarial examples via analyzing critical regions that have been manipulated by attackers. The main idea is that when removing critical regions from input images,the ranking changes of adversarial labels will be larger than those of benign labels. Compared with existing defense solutions,TaintRadar can effectively capture sophisticated localized partial attacks, e.g.,the eye-glasses attack,while not requiring additional training or fine-tuning of the original model's structure. Comprehensive experiments have been conducted in both digital and physical worlds to verify the effectiveness and robustness of our defense.

研究动机与目标

• 解决现有针对局部对抗性样本（尤其是隐蔽的部分攻击，如眼镜攻击）缺乏通用且可部署的防御方案的问题。
• 克服现有防御方法因依赖泛化能力或对补丁大小/形状敏感而导致无法检测局部部分攻击的局限性。
• 开发一种无需微调原始模型即可运行的检测系统，并在真实物理场景中保持高鲁棒性。
• 实现对视觉上局部化且可在物理世界中实现的对抗性样本（如打印补丁或可穿戴物体）的检测。
• 确保防御方法具备攻击无关性、轻量化特性，并在多种模型和数据集上均有效。

提出的方法

• 将最后一层卷积层特征图中的关键区域定义为：移除这些区域后，预测的对抗性标签置信度显著下降的区域。
• 使用基于显著性的方法，通过测量每个区域被掩码后预测概率的下降程度，来定位关键区域。
• 在移除候选区域后，比较对抗性标签与良性标签的排名变化；若对抗性标签的排名下降更明显，则表明存在篡改。
• 应用基于阈值的决策规则，根据排名偏移的幅度将输入分类为良性或对抗性样本。
• 利用深度神经网络特征图的结构不变性，无需模型微调即可检测局部扰动。
• 采用多尺度区域提议机制，即使在补丁分散或部分遮挡的情况下，也能检测到小而连续的对抗性补丁。

实验结果

研究问题

• RQ1 检测系统是否能在不重新训练模型或修改网络架构的前提下，识别出局部对抗性样本？
• RQ2 关键区域分析在检测如眼镜攻击这类仅针对少数标签的隐蔽部分攻击方面效果如何？
• RQ3 该方法在光照变化、视角差异和背景图案变化等物理世界条件下是否仍保持鲁棒性？
• RQ4 与现有防御方法相比，TaintRadar 在检测局部通用攻击和部分攻击方面的表现如何？
• RQ5 当对抗性扰动在空间域中呈分散状态或不连续时，该方法是否依然有效？

主要发现

• TaintRadar 能够成功检测出局部部分攻击，如眼镜攻击，而这类攻击可逃避所有现有防御机制，包括 SentiNet 和 LGS。
• 在数字攻击下，TaintRadar 在人脸验证基准测试中达到 98.7% 的检测准确率；在物理世界攻击下，准确率达到 95.2%。
• TaintRadar 在检测局部通用攻击（如对抗性补丁）方面优于现有防御方法，在所有测试场景中实现 100% 的检测率。
• 该方法对物理世界中的变化（如光照、视角、背景）具有鲁棒性，检测准确率保持较高水平。
• TaintRadar 具备攻击无关性，无需了解攻击类型或扰动模式，因而具备广泛适用性。
• 该防御方法轻量化且可实时运行，适用于自动驾驶或监控等对时间有严格要求的系统。