[论文解读] Center3D: Center-based Monocular 3D Object Detection with Joint Depth Understanding

Yunlei Tang, Sebastian Dörn+1 more|arXiv (Cornell University)|May 27, 2020

Advanced Neural Network Applications参考文献 32被引用 13

一句话总结

Center3D 提出了一种单阶段、无锚点的单目 3D 目标检测框架，通过从 2D 中心回归 3D 中心，并联合使用分类与回归进行鲁棒的深度估计。其在 KITTI 的 moderate 数据集上实现了 42.8% 的 BEV AP 和 39.1% 的 3D AP，达到了实时推理中速度-精度权衡的最先进性能。

ABSTRACT

Localizing objects in 3D space and understanding their associated 3D properties is challenging given only monocular RGB images. The situation is compounded by the loss of depth information during perspective projection. We present Center3D, a one-stage anchor-free approach, to efficiently estimate 3D location and depth using only monocular RGB images. By exploiting the difference between 2D and 3D centers, we are able to estimate depth consistently. Center3D uses a combination of classification and regression to understand the hidden depth information more robustly than each method alone. Our method employs two joint approaches: (1) LID: a classification-dominated approach with sequential Linear Increasing Discretization. (2) DepJoint: a regression-dominated approach with multiple Eigen's transformations for depth estimation. Evaluating on KITTI dataset for moderate objects, Center3D improved the AP in BEV from $29.7\%$ to $42.8\%$, and the AP in 3D from $18.6\%$ to $39.1\%$. Compared with state-of-the-art detectors, Center3D has achieved the best speed-accuracy trade-off in realtime monocular object detection.

研究动机与目标

• 解决从单目 RGB 图像进行 3D 目标检测的挑战，其中由于透视投影，深度信息本质上具有歧义性。
• 通过提出一种单阶段、无锚点的方法，克服现有基于锚点或两阶段检测器的局限性，提升推理速度与效率。
• 通过联合建模分类与回归，提升深度估计精度，比单一方法更有效地利用视觉线索。
• 引入参考区域（RA）机制，缓解无锚点检测中特征图稀疏性问题，提升定位精度。
• 在 KITTI 基准上实现 3D 检测精度与推理速度的最先进性能，尤其适用于实时应用。

提出的方法

• Center3D 使用 3D 偏移头，直接从 2D 中心预测回归 3D 对象中心，显式建模 2D 与 3D 中心之间的空间差异。
• 采用两个深度估计头：以分类为主导的 LID（采用顺序线性递增离散化），以及以回归为主导的 DepJoint（使用 Eigen 的变换进行基于 bin 的深度回归）。
• 引入参考区域（RA）机制，在预定义的空间区域内回归深度与偏移量，以减少特征图稀疏性并提升定位精度。
• 使用 DLA-34 主干网络提取多尺度特征，随后通过 2D 热力图、2D 偏移、3D 偏移和深度预测头进行预测。
• 采用多任务学习策略，结合加权损失函数优化热力图、偏移量与深度预测，通过预测的 3D 中心、尺寸、方向与深度，联合优化 3D 边界框回归。
• 采用联合优化策略，将分类（LID）与回归（DepJoint）结合，更充分地利用视觉线索进行深度估计。

实验结果

研究问题

• RQ1 单阶段、无锚点检测器是否能在准确率与推理速度两方面均超越现有的两阶段或基于锚点的单目 3D 检测器？
• RQ2 显式建模 2D 到 3D 中心偏移，相比假设中心点共享，是否能显著提升 3D 定位性能？
• RQ3 将分类与回归联合用于深度估计，是否能比单独使用任一方法获得更鲁棒的深度预测？
• RQ4 参考区域（RA）机制在多大程度上缓解了无锚点 3D 检测中的特征稀疏性问题，并提升了检测性能？
• RQ5 结合基于 bin 的分类与回归的联合深度估计，是否能在 KITTI 等单目 3D 检测基准上实现最先进性能？

主要发现

• Center3D 在 KITTI moderate 数据集上实现了 42.8% 的 BEV AP 和 39.1% 的 3D AP，BEV AP 相较基线的 29.7% 显著提升至 42.8%。
• 采用 DepJoint 与 RA 的模型（Center3D(+dj+ra)）在 easy 物体上达到 55.8% 的 BEV AP，在 moderate 物体上达到 42.8% 的 BEV AP，创下单目 3D 检测新 SOTA。
• RA 机制使 moderate 物体的 BEV AP 提升 4.9%（从 35.3% 提升至 40.2%），hard 物体提升 1.0%（从 33.0% 提升至 34.0%），证明其在稀疏特征区域的有效性。
• Center3D 的推理速度约为 M3D-RPN 的三倍，同时保持相近的 3D 检测性能，确立了实时单目检测中最佳的速度-精度权衡。
• DepJoint 方法在训练过程中对损失权重更具鲁棒性，尤其在使用重叠或关联深度 bin 时表现更优。
• 采用顺序线性离散化的 LID 方法，通过利用 KITTI 数据集中物体深度的统计分布，提升了基于分类的深度回归性能。