[论文解读] Adversarial Attacks on Monocular Depth Estimation

Ziqi Zhang, Xinge Zhu+3 more|arXiv (Cornell University)|Mar 23, 2020

Adversarial Robustness in Machine Learning参考文献 62被引用 14

一句话总结

本文首次系统研究了单目深度估计中的对抗性攻击，提出了非目标攻击、目标攻击和通用攻击三种场景。通过适配最先进攻击方法并提出一种结合深度与语义分割监督的多任务攻击策略，作者证明了对抗性扰动可使特定物体的深度预测误差扩大至4倍（例如，从20米变为80米），揭示了在自动驾驶等关键安全应用中使用的深度估计模型存在严重漏洞。

ABSTRACT

Recent advances of deep learning have brought exceptional performance on many computer vision tasks such as semantic segmentation and depth estimation. However, the vulnerability of deep neural networks towards adversarial examples have caused grave concerns for real-world deployment. In this paper, we present to the best of our knowledge the first systematic study of adversarial attacks on monocular depth estimation, an important task of 3D scene understanding in scenarios such as autonomous driving and robot navigation. In order to understand the impact of adversarial attacks on depth estimation, we first define a taxonomy of different attack scenarios for depth estimation, including non-targeted attacks, targeted attacks and universal attacks. We then adapt several state-of-the-art attack methods for classification on the field of depth estimation. Besides, multi-task attacks are introduced to further improve the attack performance for universal attacks. Experimental results show that it is possible to generate significant errors on depth estimation. In particular, we demonstrate that our methods can conduct targeted attacks on given objects (such as a car), resulting in depth estimation 3-4x away from the ground truth (e.g., from 20m to 80m).

研究动机与目标

• 研究单目深度估计模型在自动驾驶等关键安全应用中对对抗性攻击的脆弱性。
• 定义并基准化专用于深度估计的攻击场景分类——非目标攻击、目标攻击与通用攻击。
• 将现有分类与分割任务中的对抗性攻击方法适配至基于回归的深度估计任务。
• 提出一种新颖的多任务攻击策略，通过联合优化深度估计与语义分割监督，提升通用攻击性能。
• 在KITTI数据集上评估不同主干网络架构（如ResNet-50、VGG-16）在对抗性扰动下的鲁棒性。

提出的方法

• 作者定义了三种攻击场景：非目标攻击（全局扭曲深度）、目标攻击（对特定物体错误估计深度）和通用攻击（对多张图像应用单一扰动）。
• 通过将攻击表述为基于深度预测损失的梯度优化，将三种最先进对抗性攻击方法——FGSM、I-FGSM与MI-FGSM——从分类任务适配至深度估计任务。
• 提出一种多任务攻击策略，其中通用扰动通过包含深度估计与语义分割监督的联合损失函数进行优化（权重w_depth = 0.5，w_semantic = 0.5）。
• 在白盒设置下使用KITTI数据集进行攻击，模型在深度估计与语义分割任务上均进行了微调。
• 通过优化单一扰动向量，使该扰动在多张图像上最大化深度估计误差，生成通用对抗性扰动。
• 方法采用多任务损失函数：L_total = w_depth × L_depth + w_semantic × L_semantic，其中L_depth为预测深度与真实深度之间的RMSE，L_semantic为语义分割的交叉熵损失。

实验结果

研究问题

• RQ1 对抗性攻击能否有效扭曲单目深度估计的预测结果？扭曲程度如何？
• RQ2 不同类型的攻击——非目标攻击、目标攻击与通用攻击——对深度估计性能的影响有何差异？
• RQ3 结合语义分割的监督信号是否能提升通用对抗性攻击在深度估计任务中的有效性？
• RQ4 模型架构（如ResNet-50与VGG-16）如何影响深度估计中对抗性攻击的脆弱性？
• RQ5 对抗性扰动能在多大程度上将特定物体（如汽车或行人）的深度操纵至极端值？

主要发现

• 目标攻击可使特定物体的深度估计误差扩大至4倍，将预测值从20米扭曲至80米。
• 平均深度估计误差（RMSE）相比干净输入可增加至10倍，表明模型存在严重脆弱性。
• ResNet-50是所测试主干网络中最为脆弱的模型，与高精度模型可能更易受对抗攻击的观察一致。
• 多任务攻击策略显著提升了通用攻击性能，MI-FGSM在ResNet-50上的RMSE达到9.757，相较单任务设置下的7.257有明显提升。
• 通用扰动具有高度有效且隐蔽的特性：在保持图像视觉外观不变、其他区域变化极小的同时，造成显著的深度扭曲，如图2中电线杆细节的完好保留所示。
• 攻击可将目标物体的深度任意操控至极端值——例如，从11.4米变为80.8米——证明了对深度估计的完全可控性。