[论文解读] Adversarial Examples for Semantic Image Segmentation

Volker Fischer, Mummadi Chaithanya Kumar+2 more|arXiv (Cornell University)|Mar 3, 2017

Adversarial Robustness in Machine Learning参考文献 6被引用 54

一句话总结

本文将对抗样本应用于语义分割，展示难以察觉的扰动可以遮蔽所选类别的大部分像素（例如人物）的同时保留图像的其他部分。它还证明攻击者的可迁移性并提供一种衡量攻击有效性的指标。

ABSTRACT

Machine learning methods in general and Deep Neural Networks in particular have shown to be vulnerable to adversarial perturbations. So far this phenomenon has mainly been studied in the context of whole-image classification. In this contribution, we analyse how adversarial perturbations can affect the task of semantic segmentation. We show how existing adversarial attackers can be transferred to this task and that it is possible to create imperceptible adversarial perturbations that lead a deep network to misclassify almost all pixels of a chosen class while leaving network prediction nearly unchanged outside this class.

研究动机与目标

• 在语义分割中激发和研究对抗扰动，扩展超越图像分类。
• 证明对抗扰动对分割模型的可迁移性。
• 在分割任务中定义对抗目标并在真实数据集上量化有效性。
• 评估扰动如何影响像素级类别预测并提供攻击成功的度量。

提出的方法

• 使用全卷积网络进行语义分割（FCN8， backbone 为 VGG16）。
• 采用最不可能的对抗方法来创建朝向指定目标类别的有针对性的扰动。
• 在像素层面定义对抗目标：将所选类别的所有像素替换为最近的非目标邻居的类别，其他像素保持不变。
• 在逐步迭代中，采用带有最大 eps 的裁剪的 l∞ 约束更新扰动，遵循 xi^(n+1)=Clip_epsilon{xi^(n) - alpha * sgn(∇_x J_cls(f_theta(x+xi^(n)), y_target))}，其中 alpha=1。
• 在 Cityscapes 数据集上评估扰动，测量被欺骗的目标类别像素比例和背景被保留的程度。
• 探索仅对目标类别像素应用扰动的限制。

实验结果

研究问题

• RQ1 标准的对抗扰动方法能否迁移到语义分割任务？
• RQ2 难以察觉的扰动在欺骗分割中对目标类别的像素级预测有多大效力？
• RQ3 将扰动限制在特定类别（如人物像素）是否会影响攻击效果？
• RQ4 哪些度量最能体现语义分割中对抗攻击的成功？

主要发现

• 对抗扰动可以使目标类别的大部分区域（如人物）被错误标注，同时保留大部分背景区域。
• 当对整个图像应用扰动时，epsilon 约为 10 时，超过 85% 的人物像素可以被隐藏，背景像素中超过 97% 被保留。
• 将扰动限制在人物像素上，在较小的 epsilon 时会降低被欺骗像素数量，但背景保留仍然很高，并且随着更大的 epsilon 而提升。
• 扰动通常难以从视觉上被察觉。
• 该方法使用来自未改变图像的网络预测所得的目标来衡量效果。