[论文解读] DSGN++: Exploiting Visual-Spatial Relation for Stereo-based 3D Detectors

Yilun Chen, Shijia Huang+3 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Vision and Imaging被引用 4

一句话总结

DSGN++ 提出了一种基于立体视觉的3D目标检测框架，通过深度方向平面扫描（DPS）、双视角立体体积（DSV）实现多视角特征融合，以及 Stereo-LiDAR 拷贝粘贴数据增强策略，提升了2D到3D的特征转换效果。该方法在KITTI基准上取得了最先进性能，汽车类别的3D平均精度（AP 3D）达到69.12，优于以往仅使用摄像头的检测器，且无需额外组件。

ABSTRACT

Camera-based 3D object detectors are welcome due to their wider deployment and lower price than LiDAR sensors. We first revisit the prior stereo detector DSGN for its stereo volume construction ways for representing both 3D geometry and semantics. We polish the stereo modeling and propose the advanced version, DSGN++, aiming to enhance effective information flow throughout the 2D-to-3D pipeline in three main aspects. First, to effectively lift the 2D information to stereo volume, we propose depth-wise plane sweeping (DPS) that allows denser connections and extracts depth-guided features. Second, for grasping differently spaced features, we present a novel stereo volume -- Dual-view Stereo Volume (DSV) that integrates front-view and top-view features and reconstructs sub-voxel depth in the camera frustum. Third, as the foreground region becomes less dominant in 3D space, we propose a multi-modal data editing strategy -- Stereo-LiDAR Copy-Paste, which ensures cross-modal alignment and improves data efficiency. Without bells and whistles, extensive experiments in various modality setups on the popular KITTI benchmark show that our method consistently outperforms other camera-based 3D detectors for all categories. Code is available at https://github.com/chenyilun95/DSGN2.

研究动机与目标

• 为解决基于立体视觉的3D检测器中2D到3D特征提升时信息流动受限的问题。
• 通过融合前视图和俯视图特征，改善对行人和自行车等不规则形状物体的3D表征。
• 通过一种新颖的跨模态数据编辑策略，缓解数据不平衡问题，并提升基于摄像头的3D检测泛化能力。
• 在不依赖LiDAR的前提下，提升模型在远距离和遮挡场景下的效率与鲁棒性。

提出的方法

• 深度方向平面扫描（DPS）通过扩展通道容量并采用循环切片技术，在3D体素构建中实现更密集、深度引导的特征传播，提升局部连续性。
• 双视角立体体积（DSV）整合了前视图平面扫描体素与俯视图3D几何体素的特征，以更好地捕捉不同形状的物体。
• Stereo-LiDAR 拷贝粘贴通过将LiDAR生成的3D物体复制到立体图像中，实现跨模态对齐，提升数据效率。
• 该框架采用双流2D主干网络（如ResNet-34）提取特征，随后构建立体体积，并通过鸟瞰图（BEV）基础的3D检测器进行最终预测。
• DPS中的循环切片确保了深度平面间平滑的特征过渡，提升了3D体素中的分辨率与连续性。
• 该方法为端到端可训练，无需额外检测头设计或复杂后处理。

实验结果

研究问题

• RQ1 如何改进2D到3D的特征提升过程，以保留更丰富的语义与几何信息？
• RQ2 结合前视图与俯视图的立体体积是否能为不规则形状物体提供更优的3D表征？
• RQ3 跨模态数据增强在多大程度上能提升基于摄像头的3D检测的数据效率与泛化能力？
• RQ4 所提出的立体建模策略对远距离与遮挡物体检测性能有何影响？

主要发现

• DSGN++ 在KITTI基准上对汽车类别的3D平均精度达到69.12，优于以往基于立体视觉的检测器，且无需额外组件。
• Stereo-LiDAR 拷贝粘贴策略使汽车类别的AP 3D提升+2.60，当正样本数量增加时，提升达+2.53，表明数据效率显著增强。
• 采用DSV后，前景深度估计误差从0.63m降低至0.57m，表明在不同距离下几何精度得到提升。
• 高效的R18-DSGN++变体在参数量仅为完整模型一半的情况下，仍达到68.12 AP 3D，展现出优异的速度-精度权衡。
• 使用ResNet-18时，推理时间缩短至0.178秒，表明标准流水线中2D主干网络存在利用不足。
• 定性结果表明，对遮挡和远距离物体的检测具有鲁棒性，即使在50米距离外也能生成准确的3D边界框。