[论文解读] Real-time Progressive 3D Semantic Segmentation for Indoor Scene

Quang-Hieu Pham, Binh‐Son Hua+2 more|arXiv (Cornell University)|Apr 1, 2018

Advanced Vision and Imaging参考文献 59被引用 9

一句话总结

本文提出了一种用于室内场景的实时、渐进式3D语义分割系统，结合深度神经网络与高阶条件随机场（CRF），引入结构和物体级线索。该方法通过高效的超体素聚类与CRF优化，在实时3D重建过程中实现近实时的密集语义标注，实现在SceneNN和ScanNet数据集上的最先进性能，推理速度达10–15 Hz，实例分割的平均精度为48.4%。

ABSTRACT

The widespread adoption of autonomous systems such as drones and assistant robots has created a need for real-time high-quality semantic scene segmentation. In this paper, we propose an efficient yet robust technique for on-the-fly dense reconstruction and semantic segmentation of 3D indoor scenes. To guarantee (near) real-time performance, our method is built atop an efficient super-voxel clustering method and a conditional random field with higher-order constraints from structural and object cues, enabling progressive dense semantic segmentation without any precomputation. We extensively evaluate our method on different indoor scenes including kitchens, offices, and bedrooms in the SceneNN and ScanNet datasets and show that our technique consistently produces state-of-the-art segmentation results in both qualitative and quantitative experiments.

研究动机与目标

• 在无需预计算的情况下，实现在主动室内场景扫描过程中的实时、渐进式3D语义分割。
• 通过在CRF框架中整合来自结构和物体级线索的高阶约束，提升分割精度与时间一致性。
• 通过稀疏体素表示与优化的处理流水线，实现实时性能的高效在线推理。
• 将方法扩展至基于实例的语义分割，并在SceneNN数据集上首次实现实时评估。
• 在大规模室内数据集上全面评估所提出系统，验证其鲁棒性与可扩展性。

提出的方法

• 系统使用2D卷积神经网络对RGB-D图像进行初始语义预测。
• 通过多视角重建流水线将预测结果从2D映射到3D，采用稀疏体素表示。
• 应用高效的超体素聚类技术，将3D点聚合成具有语义意义的超体素，以保证空间一致性。
• 采用高阶CRF模型对预测结果进行优化，结合基于物体级与结构线索的单变量项、成对项与一致性项。
• 通过迭代优化CRF，引入高阶约束，以在超体素与物体边界之间强制实现标签一致性。
• 整个流水线实时运行，每帧平均运行时间恒定，支持在场景扫描过程中逐步优化分割质量。

实验结果

研究问题

• RQ1 能否构建一个实时3D语义分割系统，使其在主动扫描过程中逐步提升分割质量？
• RQ2 将来自物体与结构线索的高阶约束整合到分割中，在提升精度与一致性方面效果如何？
• RQ3 所提方法能否在大规模室内数据集上实现最先进性能，同时保持实时推理（10–15 Hz）？
• RQ4 与标准密集CRF模型相比，引入物体级一致性项的CRF在3D语义分割中的性能优势有多大？
• RQ5 该系统能否支持3D室内场景中的实时实例级语义分割？与现有方法相比表现如何？

主要发现

• 在SceneNN数据集上，所提方法在基于实例的语义分割中实现了48.4%的平均精度，为实时性能设立了新的基准。
• 在SceneNN数据集上，该方法在实例分割精度上优于直接融合方法（0.484 vs. 0.367 mAP）与SemanticFusion（0.484 vs. 0.423 mAP）。
• 系统运行速度为10–15 Hz，CNN推理平均耗时309.3 ms，超体素聚类耗时34.1 ms，CRF优化耗时57.9 ms。
• 消融实验表明，一致性项对性能提升贡献最大，验证了物体级线索在3D分割中的重要性。
• 时间精度分析显示性能随时间持续提升，该方法在长期分割稳定性方面优于基线模型。
• 完整高阶CRF模型性能最佳，显著优于标准密集CRF与各组件的消融实验结果。