[论文解读] 3D-SSD: Learning Hierarchical Features from RGB-D Images for Amodal 3D Object Detection

Qianhui Luo, Huifang Ma+3 more|arXiv (Cornell University)|Nov 1, 2017

Advanced Neural Network Applications参考文献 28被引用 14

一句话总结

本文提出3D-SSD，一种用于室内场景中基于RGB-D图像的非完整3D目标检测的端到端深度学习框架。它融合了来自RGB和深度流的分层外观与几何特征，采用多尺度3D候选框并结合深度引导的3D姿态估计，利用2D真实标注进行鲁棒的正样本匹配——在SUN RGB-D数据集上，mAP提升10.2%，推理速度比Deep Sliding Shape快88倍。

ABSTRACT

This paper aims at developing a faster and a more accurate solution to the amodal 3D object detection problem for indoor scenes. It is achieved through a novel neural network that takes a pair of RGB-D images as the input and delivers oriented 3D bounding boxes as the output. The network, named 3D-SSD, composed of two parts: hierarchical feature fusion and multi-layer prediction. The hierarchical feature fusion combines appearance and geometric features from RGB-D images while the multi-layer prediction utilizes multi-scale features for object detection. As a result, the network can exploit 2.5D representations in a synergetic way to improve the accuracy and efficiency. The issue of object sizes is addressed by attaching a set of 3D anchor boxes with varying sizes to every location of the prediction layers. At the end stage, the category scores for 3D anchor boxes are generated with adjusted positions, sizes and orientations respectively, leading to the final detections using non-maximum suppression. In the training phase, the positive samples are identified with the aid of 2D ground truth to avoid the noisy estimation of depth from raw data, which guide to a better converged model. Experiments performed on the challenging SUN RGB-D dataset show that our algorithm outperforms the state-of-the-art Deep Sliding Shape by 10.2% mAP and 88x faster. Further, experiments also suggest our approach achieves comparable accuracy and is 386x faster than the state-of-art method on the NYUv2 dataset even with a smaller input image size.

研究动机与目标

• 解决现有3D目标检测器在速度和端到端训练方面的局限性，尤其针对实时应用。
• 通过利用互补的RGB与深度信息，提升非完整3D目标检测的精度。
• 开发一种统一的端到端框架，避免不可微的候选区域生成过程，实现检测与定位的联合优化。
• 通过使用从RGB-D图像导出的2.5D表示，克服稀疏且噪声较多的3D点云带来的挑战。
• 在最小输入尺寸和计算成本下实现高性能，适用于实时部署。

提出的方法

• 网络采用双流主干网络，分别提取外观（RGB）和几何（深度）特征，随后在多个阶段进行分层特征融合。
• 将RGB网络与深度网络对应层的特征进行拼接，形成多层级、多模态的表示。
• 在融合后的特征图每个空间位置上附加预定义尺寸的多尺度3D候选框，其3D位置由深度图像推导得出。
• 通过一系列1x1和3x3卷积层，回归相对于候选框的3D边界框位置、尺寸和方向的偏移量。
• 为每个候选框预测类别得分，并应用非极大值抑制生成最终检测结果。
• 训练过程中，使用2D真实标注框识别正样本3D候选框，提升模型鲁棒性与收敛性。

实验结果

研究问题

• RQ1 分层融合RGB与深度特征是否能提升非完整3D目标检测的精度？
• RQ2 使用2D真实标注引导3D正样本分配是否能增强模型鲁棒性与收敛性？
• RQ3 采用多尺度3D候选框的3D SSD变体能否同时实现高精度与高速度？
• RQ4 与完整的3D点云或仅2D方法相比，2.5D表示在性能与效率方面表现如何？
• RQ5 在精度与模型复杂度之间平衡时，最优的分层特征融合层级是什么？

主要发现

• 在SUN RGB-D测试集上，3D-SSD使用完整分层融合策略实现36.0%的mAP，相比仅单阶段融合的基线模型提升9.5% mAP。
• 在SUN RGB-D数据集上，3D-SSD相比最先进方法Deep Sliding Shape，mAP提升10.2%，且推理速度提升88倍。
• 在NYUv2数据集上，3D-SSD达到与最先进方法相当的精度，但推理速度提升386倍，即使输入尺寸更小。
• 将深度或HHA特征与RGB特征融合可提升检测性能，尤其对低纹理物体（如浴缸、床）效果显著。
• 两阶段分层融合策略在精度上表现最优，且足以达到性能饱和，进一步加深融合无额外收益。
• 使用2D真实标注进行正样本匹配相比仅依赖深度估计，能实现更好的收敛性与鲁棒性。