[论文解读] Geometry-aware data augmentation for monocular 3D object detection.

Qing Lian, Botao Ye+3 more|arXiv (Cornell University)|Apr 12, 2021

Advanced Neural Network Applications参考文献 43被引用 8

一句话总结

本文提出了一种几何感知的数据增强方法，用于单目3D目标检测，通过模拟相机参数和物体位置的几何偏移来提高深度估计的鲁棒性。通过在图像级和实例级增强过程中保持3D几何结构，该方法在KITTI和nuScenes基准上显著提升了性能，实现了最先进结果。

ABSTRACT

This paper focuses on monocular 3D object detection, one of the essential modules in autonomous driving systems. A key challenge is that the depth recovery problem is ill-posed in monocular data. In this work, we first conduct a thorough analysis to reveal how existing methods fail to robustly estimate depth when different geometry shifts occur. In particular, through a series of image-based and instance-based manipulations for current detectors, we illustrate existing detectors are vulnerable in capturing the consistent relationships between depth and both object apparent sizes and positions. To alleviate this issue and improve the robustness of detectors, we convert the aforementioned manipulations into four corresponding 3D-aware data augmentation techniques. At the image-level, we randomly manipulate the camera system, including its focal length, receptive field and location, to generate new training images with geometric shifts. At the instance level, we crop the foreground objects and randomly paste them to other scenes to generate new training instances. All the proposed augmentation techniques share the virtue that geometry relationships in objects are preserved while their geometry is manipulated. In light of the proposed data augmentation methods, not only the instability of depth recovery is effectively alleviated, but also the final 3D detection performance is significantly improved. This leads to superior improvements on the KITTI and nuScenes monocular 3D detection benchmarks with state-of-the-art results.

研究动机与目标

• 为解决单目图像中病态深度估计导致的深度恢复不稳定性问题。
• 识别现有检测器在相机参数和物体位置发生几何偏移时的脆弱性。
• 开发在引入受控几何变化的同时保持3D几何关系的数据增强技术。
• 提升单目3D检测器在各种几何变换下的泛化能力和鲁棒性。
• 在标准单目3D检测基准KITTI和nuScenes上实现最先进性能。

提出的方法

• 通过随机调整相机系统参数（包括焦距、视场和相机位置）实现图像级增强，以模拟几何偏移。
• 通过裁剪前景物体并将其粘贴到不同场景中，引入实例级增强，生成具有不同空间几何关系的新训练样本。
• 在增强过程中确保物体尺寸、位置与深度之间的几何关系保持不变，以维持物理合理性。
• 设计增强方法，显式建模物体外观、深度与相机几何之间的相互作用，以提升检测器的泛化能力。
• 在训练过程中应用所提出的增强方法，以提升模型在不同几何条件下一致推断深度的能力。

实验结果

研究问题

• RQ1 相机参数的几何偏移在多大程度上影响现有单目3D检测器的深度估计可靠性？
• RQ2 当前的数据增强策略在在多大程度上未能保持物体尺寸、位置与深度之间的几何一致性？
• RQ3 显式的几何感知数据增强能否提升单目3D检测中深度恢复的鲁棒性？
• RQ4 图像级与实例级几何增强在提升检测器性能方面有何差异？
• RQ5 几何保持型增强对KITTI和nuScenes基准上最先进性能的影响如何？

主要发现

• 所提出的几何感知数据增强技术显著降低了在几何偏移下深度恢复的不稳定性。
• 该方法在KITTI单目3D检测基准上实现了最先进性能，优于先前方法。
• 在nuScenes基准上，该方法显著提升了3D检测精度，证实了其泛化能力。
• 图像级与实例级增强的结合在各种场景配置下实现了更鲁棒、更一致的深度估计。
• 该增强策略有效保持了物体尺寸、位置与深度之间的几何关系，从而增强了模型的泛化能力。