[论文解读] Monocular Depth Estimators: Vulnerabilities and Attacks

Alwyn Mathew, Aditya Prakash Patra+1 more|arXiv (Cornell University)|May 28, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用 7

一句话总结

本文提出了一种新型的深度特征湮灭（DFA）损失，用于对单目深度估计器生成对抗性攻击，通过极小且难以察觉的扰动或小尺寸补丁，显著降低其性能。该攻击针对的是网络内部的特征表示，而不仅限于最终输出，展示了在白盒和黑盒设置下的高成功率，包括跨模型和跨数据集的可迁移性。

ABSTRACT

Recent advancements of neural networks lead to reliable monocular depth estimation. Monocular depth estimated techniques have the upper hand over traditional depth estimation techniques as it only needs one image during inference. Depth estimation is one of the essential tasks in robotics, and monocular depth estimation has a wide variety of safety-critical applications like in self-driving cars and surgical devices. Thus, the robustness of such techniques is very crucial. It has been shown in recent works that these deep neural networks are highly vulnerable to adversarial samples for tasks like classification, detection and segmentation. These adversarial samples can completely ruin the output of the system, making their credibility in real-time deployment questionable. In this paper, we investigate the robustness of the most state-of-the-art monocular depth estimation networks against adversarial attacks. Our experiments show that tiny perturbations on an image that are invisible to the naked eye (perturbation attack) and corruption less than about 1% of an image (patch attack) can affect the depth estimation drastically. We introduce a novel deep feature annihilation loss that corrupts the hidden feature space representation forcing the decoder of the network to output poor depth maps. The white-box and black-box test compliments the effectiveness of the proposed attack. We also perform adversarial example transferability tests, mainly cross-data transferability.

研究动机与目标

• 研究最先进的单目深度估计器在对抗性攻击下的鲁棒性。
• 解决在深度估计领域，尤其是对安全关键应用中对抗性攻击研究有限的问题。
• 开发一种新攻击方法，通过破坏内部特征表示以最大化深度预测的退化。
• 评估对抗性样本在不同模型和数据集之间的可迁移性，以评估其在现实世界中的威胁潜力。

提出的方法

• 提出一种深度特征湮灭（DFA）损失，旨在破坏单目深度网络的隐藏特征空间，而非仅关注最终输出层。
• 设计基于像素的扰动攻击和基于局部补丁的攻击，均使用DFA损失生成对抗性输入。
• 通过使用DFA损失相对于输入图像的梯度，优化扰动，实现白盒攻击。
• 利用从替代模型生成的对抗性样本进行黑盒攻击，测试跨模型和跨数据集的可迁移性。
• 可视化编码器和解码器层的特征图，分析DFA如何破坏内部表示，显示激活反转和主导特征的抑制。
• 使用KITTI 2015数据集进行评估，通过RMSE和相对退化（Rel）指标衡量性能。

实验结果

研究问题

• RQ1 最先进的单目深度估计器对难以察觉的对抗性扰动和小尺寸补丁攻击有多脆弱？
• RQ2 针对内部特征表示（DFA）的损失函数是否能比标准的输出目标方法产生更有效的攻击？
• RQ3 对抗性样本在不同深度估计模型之间的可迁移性达到何种程度（跨模型可迁移性）？
• RQ4 在开源数据集（如KITTI）上训练的对抗性补丁是否能成功攻击在专有数据集（如Cityscapes）上训练的模型（跨数据集可迁移性）？
• RQ5 对抗性攻击如何影响深度网络的内部特征表示，这是否能解释攻击的成功原因？

主要发现

• 图像损坏程度低于1%的对抗性扰动，即可导致DDVO和Mono2等模型的深度估计相对退化超过100%。
• 即使补丁覆盖图像面积不足1%，也能对估计的深度图造成超过20%的损害，且影响范围可扩展至补丁区域之外。
• 所提出的DFA损失通过破坏内部特征表示，显著优于标准攻击方法，导致深度预测退化更加严重。
• 使用替代模型生成的对抗性样本进行的黑盒攻击成功攻击了所有测试的最先进的深度估计器，证实了其高度可迁移性。
• 实现了跨数据集可迁移性：在KITTI上训练的补丁可成功攻击Cityscapes数据集上的模型，表明其具备现实世界威胁潜力。
• 特征可视化结果证实，DFA导致主导激活被抑制，非主导激活被放大，表明内部表示被有效破坏。