[论文解读] Adversarial Training of Self-supervised Monocular Depth Estimation against Physical-World Attacks

Zhiyuan Cheng, James Liang+3 more|arXiv (Cornell University)|Jan 31, 2023

Image Processing Techniques and Applications被引用 6

一句话总结

该论文提出了一种用于单目深度估计（MDE）的自监督对抗训练方法，可在无需真实深度监督的情况下增强对物理世界攻击的鲁棒性。通过利用立体图像的视图合成，并在训练过程中应用$L_0$-范数有界扰动，该方法在保持干净准确率几乎不变的前提下，对数字和物理对抗攻击均表现出强大的防御能力。

ABSTRACT

Monocular Depth Estimation (MDE) is a critical component in applications such as autonomous driving. There are various attacks against MDE networks. These attacks, especially the physical ones, pose a great threat to the security of such systems. Traditional adversarial training method requires ground-truth labels hence cannot be directly applied to self-supervised MDE that does not have ground-truth depth. Some self-supervised model hardening techniques (e.g., contrastive learning) ignore the domain knowledge of MDE and can hardly achieve optimal performance. In this work, we propose a novel adversarial training method for self-supervised MDE models based on view synthesis without using ground-truth depth. We improve adversarial robustness against physical-world attacks using L0-norm-bounded perturbation in training. We compare our method with supervised learning based and contrastive learning based methods that are tailored for MDE. Results on two representative MDE networks show that we achieve better robustness against various adversarial attacks with nearly no benign performance degradation.

研究动机与目标

• 解决自监督单目深度估计（MDE）在面对物理世界对抗攻击时缺乏有效防御方法的问题。
• 克服传统对抗训练的局限性，后者需要真实深度标签，而这些标签在自监督MDE中不可用。
• 在不降低对干净自然输入性能的前提下提升鲁棒性。
• 开发一种利用立体视图几何约束来模拟真实对抗扰动的方法。
• 在多种条件下验证该方法对数字世界和真实物理世界攻击的有效性。

提出的方法

• 使用两个摄像头或视频帧捕捉印刷的2D板（例如汽车）的立体视图，以生成合成训练数据。
• 在其中一个视图的2D图像上应用$L_0$-范数有界扰动，以模拟对抗攻击。
• 利用视图合成技术，通过估计的深度和相机位姿参数，从第二个视图重建被扰动的图像。
• 使用重建图像和被扰动图像作为监督信号，训练MDE模型，从而实现自监督对抗训练。
• 将视图间的几何一致性作为可微损失，以提高深度估计的鲁棒性。
• 在训练过程中随机采样物体距离（5–10米），以平衡泛化能力和攻击有效性。

实验结果

研究问题

• RQ1 自监督对抗训练能否在无需真实深度监督的情况下有效应用于单目深度估计？
• RQ2 在视图合成框架中，$L_0$-范数有界扰动如何提升对物理世界攻击的鲁棒性？
• RQ3 所提出的方法是否在防御对抗样本的同时保持对干净输入的高性能？
• RQ4 与监督学习和对比学习基线方法相比，该方法在鲁棒性和迁移能力方面表现如何？
• RQ5 为平衡鲁棒性与泛化能力，训练时物体距离的最佳范围是什么？

主要发现

• 所提出的L0+SelfSup方法在对抗数字世界和物理世界攻击方面均优于监督学习和对比学习基线方法。
• 该方法在良性性能上几乎无退化，保持了原始模型在干净输入上的准确率。
• 由L0+SelfSup模型生成的对抗样本表现出极低的迁移性，表明其对黑盒攻击具有强大防御能力。
• 在5–10米距离范围内训练的模型达到最佳鲁棒性，优于更窄或更宽的距离范围。
• 在物理世界评估中，加固后的模型成功减轻了移动车辆上对抗补丁引起的深度估计误差（如“孔洞”现象）。
• 该方法在不同光照条件、道路类型和驾驶环境下，均能有效防御最先进的物理世界攻击。