[论文解读] Monocular 3D Detection with Geometric Constraints Embedding and Semi-supervised Training

Peixuan Li|arXiv (Cornell University)|Sep 2, 2020

Advanced Neural Network Applications参考文献 47被引用 13

一句话总结

该论文提出KM3D-Net，一种单阶段、端到端的单目3D目标检测框架，通过将可微分几何约束嵌入全卷积网络，联合预测2D关键点、尺寸和方向，仅凭RGB图像即可实现精确的3D位置估计。该方法采用新颖的半监督训练策略，结合关键点丢弃与仿射增强的一致性正则化，在仅使用KITTI数据集13%标注数据的情况下，实现了最先进性能。

ABSTRACT

In this work, we propose a novel single-shot and keypoints-based framework for monocular 3D objects detection using only RGB images, called KM3D-Net. We design a fully convolutional model to predict object keypoints, dimension, and orientation, and then combine these estimations with perspective geometry constraints to compute position attribute. Further, we reformulate the geometric constraints as a differentiable version and embed it into the network to reduce running time while maintaining the consistency of model outputs in an end-to-end fashion. Benefiting from this simple structure, we then propose an effective semi-supervised training strategy for the setting where labeled training data is scarce. In this strategy, we enforce a consensus prediction of two shared-weights KM3D-Net for the same unlabeled image under different input augmentation conditions and network regularization. In particular, we unify the coordinate-dependent augmentations as the affine transformation for the differential recovering position of objects and propose a keypoints-dropout module for the network regularization. Our model only requires RGB images without synthetic data, instance segmentation, CAD model, or depth generator. Nevertheless, extensive experiments on the popular KITTI 3D detection dataset indicate that the KM3D-Net surpasses all previous state-of-the-art methods in both efficiency and accuracy by a large margin. And also, to the best of our knowledge, this is the first time that semi-supervised learning is applied in monocular 3D objects detection. We even surpass most of the previous fully supervised methods with only 13\% labeled data on KITTI.

研究动机与目标

• 通过整合深度学习与透视几何约束，解决单目3D检测的病态问题。
• 克服后处理阶段几何约束导致的梯度流中断问题。
• 通过SVD求解可微分超定系统，将几何约束重新表述为可微形式，实现端到端训练。
• 设计一种半监督训练策略，以在3D标注数据稀缺时充分利用未标注数据。
• 在无需LiDAR、深度监督、CAD模型或合成数据的前提下，实现高精度与高效率。

提出的方法

• 设计一个全卷积网络，采用并行分支结构，从单张RGB图像中预测2D目标关键点、尺寸和方向。
• 将透视投影约束重新表述为可通过SVD求解的可微分超定系统，以支持通过几何推理进行反向传播。
• 将可微分几何模块直接嵌入网络中，实现外观与空间预测的端到端联合优化。
• 提出关键点丢弃模块（Keypoints-Dropout），在训练过程中随机丢弃关键点以正则化网络，将关键点视为显式特征而非激活值。
• 应用依赖坐标的增强方法（如仿射变换），为同一图像生成多个视图，用于一致性正则化。
• 通过共享权重强制在增强视图间达成预测一致性，模仿半监督学习中的Pi-Model策略。

实验结果

研究问题

• RQ1 能否有效将可微分几何约束嵌入深度神经网络，以提升单目3D检测的准确性？
• RQ2 如何使几何推理过程实现端到端可训练，以保持2D关键点预测与3D位置估计之间的一致性？
• RQ3 能否有效应用半监督学习于单目3D检测任务，以减少对昂贵3D标注的依赖？
• RQ4 在监督信息有限的情况下，基于关键点的几何建模方法是否优于传统的2D边界框回归方法？
• RQ5 轻量级、单阶段网络能否在无深度监督、无LiDAR或合成数据的情况下实现SOTA性能？

主要发现

• KM3D-Net在KITTI 3D检测基准上达到最先进性能，其精度与推理速度均优于所有先前方法。
• 仅使用13%的标注数据，KM3D-Net在中等难度集上达到75.78%的3D AP，超越了大多数完全监督方法。
• 采用几何约束的2D-3D-2D范式，其性能与2D-2D检测方法相当，证明了几何推理模块的有效性。
• 所提出的半监督训练策略在低监督设置下显著提升性能，验证了其在数据稀缺场景下的有效性。
• 模型在各类别间泛化能力良好，在中等难度集上对骑行者的BEV AP达到88.77%，对行人的BEV AP为10.12%，展现出对类别不平衡的鲁棒性。
• 定性结果表明，回归得到的关键点优于基于热力图的关键点检测方法，尤其在处理遮挡或截断目标时表现更优。