[论文解读] Multi-Modality Task Cascade for 3D Object Detection

Jinhyung Park, Xinshuo Weng+2 more|arXiv (Cornell University)|Jul 8, 2021

Advanced Neural Network Applications参考文献 36被引用 5

一句话总结

该论文提出了一种名为多模态任务级联（MTC-RCNN）的新颖3D目标检测框架，通过递归地利用2D语义分割预测来优化3D目标提议，而这些2D预测又通过3D提议特征得到增强。通过将3D框预测结果融合进2D网络，并采用双头2D训练方案以防止过拟合，MTC-RCNN在SUN RGB-D数据集上实现了最先进性能，mAP@0.5相比之前方法提升了+3.8，且无需额外的2D标注。

ABSTRACT

Point clouds and RGB images are naturally complementary modalities for 3D visual understanding - the former provides sparse but accurate locations of points on objects, while the latter contains dense color and texture information. Despite this potential for close sensor fusion, many methods train two models in isolation and use simple feature concatenation to represent 3D sensor data. This separated training scheme results in potentially sub-optimal performance and prevents 3D tasks from being used to benefit 2D tasks that are often useful on their own. To provide a more integrated approach, we propose a novel Multi-Modality Task Cascade network (MTC-RCNN) that leverages 3D box proposals to improve 2D segmentation predictions, which are then used to further refine the 3D boxes. We show that including a 2D network between two stages of 3D modules significantly improves both 2D and 3D task performance. Moreover, to prevent the 3D module from over-relying on the overfitted 2D predictions, we propose a dual-head 2D segmentation training and inference scheme, allowing the 2nd 3D module to learn to interpret imperfect 2D segmentation predictions. Evaluating our model on the challenging SUN RGB-D dataset, we improve upon state-of-the-art results of both single modality and fusion networks by a large margin ($ extbf{+3.8}$ mAP@0.5). Code will be released $\href{https://github.com/Divadi/MTC_RCNN}{ ext{here.}}$

研究动机与目标

• 解决现有多模态3D检测方法在单向、非交互式地融合2D与3D特征时表现不佳的问题。
• 通过在2D分割与3D检测之间实现双向特征优化，挖掘RGB-D图像与3D点云之间的互补性。
• 克服2D网络在训练过程中过拟合的问题，该问题可能主导并损害3D优化性能。
• 开发一种联合训练框架，使2D与3D网络通过递归优化学习共享的、鲁棒的表征。
• 在无需额外2D标注的前提下，实现在SUN RGB-D数据集上的最先进3D检测性能。

提出的方法

• 提出一种多模态任务级联（MTC-RCNN）框架，在3D目标检测流程的两个阶段之间插入一个2D语义分割网络。
• 将源自类别预测与框参数的3D提议特征融合进2D分割网络，以丰富2D特征学习能力。
• 使用真实3D标注监督2D分割网络，从而消除对额外2D标签的需求。
• 通过将点投影到2D分割预测结果，并在PointNet处理前将通道维度的概率分布与3D几何特征拼接，实现第二阶段对3D提议的优化。
• 采用双头2D分割训练策略：一个强主干头与一个较弱的辅助头，其中辅助头在训练期间用于防止3D网络过度依赖完美的2D预测结果。
• 推理阶段，融合主干头与辅助头的2D预测结果，以提升鲁棒性与性能。

实验结果

研究问题

• RQ1 将3D提议特征融合进2D分割网络是否能显著提升2D分割质量，从而进一步增强3D目标检测性能？
• RQ2 与单向特征融合相比，2D分割与3D检测之间的递归式、双向级联是否能带来更优的性能表现？
• RQ3 双头2D训练策略是否能缓解2D网络中的过拟合问题，并提升3D优化阶段的泛化能力？
• RQ4 MTC-RCNN与现有3D检测框架（如PointPainting）结合后，性能如何变化？
• RQ5 2D mIoU与3D mAP之间的相关性如何？每3D提议中的点数对这一关系有何影响？

主要发现

• MTC-RCNN在SUN RGB-D数据集上相比最先进方法实现了3.8的mAP@0.5提升，创下新的SOTA记录。
• 采用2D监督与2D预测（而非原始特征）进行2D到3D的特征融合，使3D mAP相比仅使用3D的基线模型提升了+3.0。
• 在训练过程中使用较弱的辅助2D头，减小了训练与测试时mIoU的差距，使3D检测mAP提升了+1.5。
• 推理阶段融合主干与辅助2D头的预测结果，使3D mAP提升至31.80，2D mIoU达到52.91。
• 每3D提议中的点数影响性能：点数从512增至2048时，3D mAP从31.09提升至31.46，但2D mIoU在1024点时达到峰值。
• 将3D提议特征融合进2D网络后，2D mIoU从46.05提升至51.03，3D mAP从31.05提升至31.46，证实了3D到2D特征融合的有效性。