[论文解读] CARLA-GeAR: a Dataset Generator for a Systematic Evaluation of Adversarial Robustness of Vision Models

Federico Nesti, Giulio Rossolini+3 more|arXiv (Cornell University)|Jun 9, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

CARLA-GeAR 是一个基于 CARLA 模拟器构建的数据集生成器，可生成用于评估自动驾驶场景中视觉模型对抗鲁棒性的照片级真实感合成数据集。它通过自动化生成语义分割、目标检测和深度估计任务的数据集，实现对物理对抗补丁的系统性基准测试，实验验证表明模型在攻击下性能显著下降，且不同防御方法的有效性存在差异。

ABSTRACT

Adversarial examples represent a serious threat for deep neural networks in several application domains and a huge amount of work has been produced to investigate them and mitigate their effects. Nevertheless, no much work has been devoted to the generation of datasets specifically designed to evaluate the adversarial robustness of neural models. This paper presents CARLA-GeAR, a tool for the automatic generation of photo-realistic synthetic datasets that can be used for a systematic evaluation of the adversarial robustness of neural models against physical adversarial patches, as well as for comparing the performance of different adversarial defense/detection methods. The tool is built on the CARLA simulator, using its Python API, and allows the generation of datasets for several vision tasks in the context of autonomous driving. The adversarial patches included in the generated datasets are attached to billboards or the back of a truck and are crafted by using state-of-the-art white-box attack strategies to maximize the prediction error of the model under test. Finally, the paper presents an experimental study to evaluate the performance of some defense methods against such attacks, showing how the datasets generated with CARLA-GeAR might be used in future work as a benchmark for adversarial defense in the real world. All the code and datasets used in this paper are available at http://carlagear.retis.santannapisa.it.

研究动机与目标

• 解决当前缺乏针对真实自动驾驶场景中视觉模型对抗鲁棒性评估的标准化基准问题。
• 通过完全可控、照片级真实感的仿真评估，克服真实世界物理对抗攻击在实际应用和安全性方面的限制。
• 在真实物理攻击条件下，系统性比较不同对抗防御与检测方法的性能表现。
• 提供一个可重用、开源的工具，用于生成带有对抗补丁的现实物体（如广告牌和卡车）的数据集。
• 通过标准化、可复现的评估方式，为未来对抗鲁棒性与防御方法的基准测试奠定基础。

提出的方法

• 利用 CARLA 模拟器的 Python API，为城市驾驶场景生成高分辨率、照片级真实感的 RGB 图像及真实标签。
• 通过最先进的白盒攻击策略，自动将对抗补丁附着于广告牌或卡车后部等表面，以最大化模型预测误差。
• 支持四种视觉任务：语义分割、2D 与 3D 立体目标检测，以及单目深度估计，配备同步的相机与场景元数据。
• 基于预先收集的无补丁数据集，通过优化生成补丁，采用针对物理约束下最大化误分类的损失函数。
• 在不同攻击场景和物体位置下收集多个数据集，以实现对模型鲁棒性与防御机制的系统性评估。
• 提供预计算的数据集（含补丁），并支持按需自定义生成，以降低计算开销。

实验结果

研究问题

• RQ1 最先进的防御方法（如 Z-Mask、LGS）在自动驾驶场景中对视觉模型的物理对抗攻击的缓解效果如何？
• RQ2 CARLA 生成数据与真实世界训练数据（如 COCO、CityScapes）之间的分布差异在多大程度上影响模型在生成对抗数据集上的性能？
• RQ3 像 CARLA 这类模拟的、照片级真实感的环境，是否能够实现对多样化攻击配置下对抗鲁棒性的可靠且系统性的评估？
• RQ4 同一对抗补丁在不同视觉任务（如语义分割与深度估计）中，其性能退化程度有何差异？
• RQ5 在生成大规模、逼真的对抗数据集以用于基准测试时，面临哪些计算与实际挑战？

主要发现

• 对抗补丁的使用显著降低了所有任务的模型性能，最坏情况下平均性能下降幅度在 -25.48% 至 -45.41% 之间。
• 防御方法如 Z-Mask 和 LGS 效果不一：Z-Mask 在某些情况下表现提升（如 Stereo R-CNN 在 Billboard04 上提升 +8.84%），但在其他情况下反而恶化（如 DDRNet 在 Billboard06 上下降 -33.17%）。
• LGS 防御在 Billboard07（相对提升 13.35%）和 Billboard08（提升 15.84%）上表现良好，表明其效果具有任务与场景依赖性。
• 模型在 CARLA 生成数据集上的表现远低于在真实世界训练数据上的表现，表明由于合成数据特性，存在显著的分布偏移。
• 该工具实现了对抗鲁棒性评估的一致性与可复现性，数据集可下载，且支持按需自定义生成。
• 本研究证明 CARLA-GeAR 可作为未来基准测试的基础，尽管标准化指标与评估平台仍有待建立。