[论文解读] MonoJSG: Joint Semantic and Geometric Cost Volume for Monocular 3D Object Detection

Qing Lian, Peiliang Li+1 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Vision and Imaging被引用 4

一句话总结

MonoJSG 为单目 3D 目标检测提出了一种联合语义与几何代价体积，通过像素级视觉线索优化深度预测。通过将归一化的 3D 目标坐标投影到图像空间，并在自适应的 4D 代价体积中建模几何与语义误差，该方法在 KITTI 和 Waymo 基准上实现了最先进性能，并具备实时推理能力。

ABSTRACT

Due to the inherent ill-posed nature of 2D-3D projection, monocular 3D object detection lacks accurate depth recovery ability. Although the deep neural network (DNN) enables monocular depth-sensing from high-level learned features, the pixel-level cues are usually omitted due to the deep convolution mechanism. To benefit from both the powerful feature representation in DNN and pixel-level geometric constraints, we reformulate the monocular object depth estimation as a progressive refinement problem and propose a joint semantic and geometric cost volume to model the depth error. Specifically, we first leverage neural networks to learn the object position, dimension, and dense normalized 3D object coordinates. Based on the object depth, the dense coordinates patch together with the corresponding object features is reprojected to the image space to build a cost volume in a joint semantic and geometric error manner. The final depth is obtained by feeding the cost volume to a refinement network, where the distribution of semantic and geometric error is regularized by direct depth supervision. Through effectively mitigating depth error by the refinement framework, we achieve state-of-the-art results on both the KITTI and Waymo datasets.

研究动机与目标

• 解决由于 2D-3D 深度恢复模糊而导致的单目 3D 目标检测病态问题。
• 克服现有方法依赖稀疏 2D 信号或间接深度监督的局限性。
• 利用密集的像素级视觉线索（几何与语义）更精确地优化深度预测。
• 通过端到端深度监督提升用于优化的特征判别能力。
• 在 KITTI 和 Waymo 数据集上实现最先进性能，并具备实时推理能力。

提出的方法

• 使用深度神经网络估计 3D 目标坐标、尺寸和偏航角，生成归一化的 3D 目标特征。
• 利用初始深度估计将归一化的 3D 坐标重投影到图像空间，形成像素级几何约束。
• 将几何误差定义为预测 2D 像素位置与投影 3D 坐标之间的差异。
• 通过比较原始 2D 位置和投影 3D 坐标位置提取的特征，计算语义误差。
• 构建一个自适应 4D 代价体积，用于建模候选深度周围几何与语义误差的联合分布。
• 使用带深度监督的优化网络对代价体积进行优化，并预测最终深度，采样策略基于预测的深度不确定性自适应调整。

实验结果

研究问题

• RQ1 与稀疏 2D 关键点约束相比，密集的像素级视觉线索是否能提升单目 3D 目标检测中的深度估计精度？
• RQ2 在代价体积中联合使用语义与几何误差，相比单独使用任一线索，是否能更有效地提升深度优化效果？
• RQ3 端到端深度监督在多大程度上提升了用于优化的特征的判别能力？
• RQ4 针对不同深度和目标尺度，能够自适应变化的代价体积是否能提升模型的泛化能力与精度？
• RQ5 所提方法是否在 KITTI 和 Waymo 等标准基准上实现了最先进性能，同时保持实时推理能力？

主要发现

• 在 KITTI 测试集上，MonoJSG 实现了 26.4% mAP（Easy）和 18.3% mAP（Moderate），创下新 SOTA 记录。
• 在 Waymo 数据集上，MonoJSG 实现了 26.4% mAP（Easy）、18.3% mAP（Moderate）和 15.4% mAP（Hard），超越了先前方法。
• 消融实验表明，与仅使用几何特征相比，同时使用几何与语义特征可使 mAP 提升 2.1%。
• 代价体积中的自适应采样优于均匀采样，在 KITTI Moderate 集上使用 32 个采样点时，mAP 提升 1.1%。
• 定性结果表明，该方法显著降低了深度误差，表现为更平滑的损失曲面，并与真实深度更一致。
• 通过利用学习到的语义表示而非原始光度特征，模型在遮挡和无纹理区域表现出更强鲁棒性。