[论文解读] APARATE: Adaptive Adversarial Patch for CNN-based Monocular Depth Estimation for Autonomous Navigation

Amira Guesmi, Muhammad Abdullah Hanif+2 more|arXiv (Cornell University)|Mar 2, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出 APARATE，一种新型自适应对抗性补丁，通过选择性地使单目深度估计（MDE）中的物体完全消失或造成严重深度失真，从而破坏自动驾驶系统中的单目深度估计。该方法在基于CNN的MDE中使99%的目标区域平均深度误差超过0.5，在基于Transformer的模型中使94%的区域误差达到0.34，且对输入变换防御具有鲁棒性。

ABSTRACT

In recent times, monocular depth estimation (MDE) has experienced significant advancements in performance, largely attributed to the integration of innovative architectures, i.e., convolutional neural networks (CNNs) and Transformers. Nevertheless, the susceptibility of these models to adversarial attacks has emerged as a noteworthy concern, especially in domains where safety and security are paramount. This concern holds particular weight for MDE due to its critical role in applications like autonomous driving and robotic navigation, where accurate scene understanding is pivotal. To assess the vulnerability of CNN-based depth prediction methods, recent work tries to design adversarial patches against MDE. However, the existing approaches fall short of inducing a comprehensive and substantially disruptive impact on the vision system. Instead, their influence is partial and confined to specific local areas. These methods lead to erroneous depth predictions only within the overlapping region with the input image, without considering the characteristics of the target object, such as its size, shape, and position. In this paper, we introduce a novel adversarial patch named APARATE. This patch possesses the ability to selectively undermine MDE in two distinct ways: by distorting the estimated distances or by creating the illusion of an object disappearing from the perspective of the autonomous system. Notably, APARATE is designed to be sensitive to the shape and scale of the target object, and its influence extends beyond immediate proximity. APARATE, results in a mean depth estimation error surpassing $0.5$, significantly impacting as much as $99\%$ of the targeted region when applied to CNN-based MDE models. Furthermore, it yields a significant error of $0.34$ and exerts substantial influence over $94\%$ of the target region in the context of Transformer-based MDE.

研究动机与目标

• 解决基于CNN和Transformer的单目深度估计（MDE）模型在自动驾驶导航中对物理对抗性攻击的关键脆弱性。
• 开发一种对抗性补丁，能够完全遮蔽目标物体或在整个物体区域造成深度感知扭曲，而不仅限于重叠区域。
• 确保补丁能够自适应目标物体的尺寸、形状及与相机的距离，从而在不同物体类别和位置间实现泛化。
• 设计一种在常见防御机制（如JPEG压缩、中值模糊和高斯噪声）下仍保持有效的补丁。
• 通过在真实自动驾驶系统中实现高误差率且视觉扰动极小，证明对抗性补丁在现实世界中的实际威胁。

提出的方法

• 该方法引入一种惩罚损失函数，以增强对抗性补丁的有效性，并将其影响范围扩展至补丁与输入重叠区域之外。
• 采用自动化的补丁定位机制，使补丁与目标物体的形状和尺度对齐，避免随机或无关的放置。
• 通过端到端优化，使补丁在目标物体整个区域最大化深度估计误差，确保完全遮蔽或扭曲。
• 通过在优化过程中模拟这些变换，使框架对物理世界中的变换（如图像压缩、模糊和噪声）具有鲁棒性。
• 该攻击方法同时应用于基于CNN和视觉Transformer的MDE模型，展示了在不同架构间的泛化能力。
• 该方法在公开的公路数据集上进行评估，重点关注汽车和行人作为代表性目标物体。

实验结果

研究问题

• RQ1 能否设计一种对抗性补丁，使物体在单目深度估计中被完全遮蔽，而非仅扭曲重叠区域的一小部分？
• RQ2 该补丁在不同物体尺寸、形状或与相机距离下，对整个目标物体区域诱导高深度估计误差的效率如何？
• RQ3 当补丁受到常见输入级防御技术（如JPEG压缩、中值模糊和高斯噪声）影响时，其有效性在多大程度上仍能保持？
• RQ4 该补丁是否无需微调即可在不同物体类别（如汽车、行人）间实现泛化？
• RQ5 在物理世界变换下，补丁性能是否会显著下降，还是对这些防御具有鲁棒性？

主要发现

• APARATE在基于CNN的MDE模型中，使目标区域99%的区域平均深度误差超过0.5，表明深度预测几乎完全被破坏。
• 对于基于Transformer的MDE，该补丁诱导的平均深度误差为0.34，影响约94%的目标区域，表明其在不同架构间具有强大泛化能力。
• 即使在JPEG压缩（质量30）、中值模糊（半径20）和高斯噪声（σ=0.1）等防御机制下，补丁仍保持平均误差0.2，显示出对输入变换的鲁棒性。
• 中值模糊防御显著降低了基线MDE性能，但APARATE仍实现平均误差0.13，表明其有效性在模型性能下降时依然成立。
• 该补丁在不同物体尺寸、形状和与相机距离下均保持有效，证明其具备良好的自适应性和泛化能力。
• 该攻击对物理世界变换具有鲁棒性，在常见防御技术下性能下降极小，凸显了此类对抗性补丁在现实世界中的威胁。