[论文解读] Dense RGB-D semantic mapping with Pixel-Voxel neural network

Cheng Zhao, Li Sun+2 more|arXiv (Cornell University)|Sep 30, 2017

Robotics and Sensor-Based Localization参考文献 23被引用 4

一句话总结

该论文提出了一种基于像素-体素神经网络的实时密集RGB-D语义映射系统，通过联合利用RGB图像的全局上下文和三维点云的局部几何信息，实现高性能语义分割。通过采用基于置信度的Softmax加权融合模块，自适应地结合PixelNet与VoxelNet的预测结果，该方法在SUN RGB-D基准测试中达到最先进性能，并在配备Titan X GPU的标准PC上实现11–12 Hz的运行速度。

ABSTRACT

For intelligent robotics applications, extending 3D mapping to 3D semantic mapping enables robots to, not only localize themselves with respect to the scene's geometrical features but also simultaneously understand the higher level meaning of the scene contexts. Most previous methods focus on geometric 3D reconstruction and scene understanding independently notwithstanding the fact that joint estimation can boost the accuracy of the semantic mapping. In this paper, a dense RGB-D semantic mapping system with a Pixel-Voxel network is proposed, which can perform dense 3D mapping while simultaneously recognizing and semantically labelling each point in the 3D map. The proposed Pixel-Voxel network obtains global context information by using PixelNet to exploit the RGB image and meanwhile, preserves accurate local shape information by using VoxelNet to exploit the corresponding 3D point cloud. Unlike the existing architecture that fuses score maps from different models with equal weights, we proposed a Softmax weighted fusion stack that adaptively learns the varying contributions of PixelNet and VoxelNet, and fuses the score maps of the two models according to their respective confidence levels. The proposed Pixel-Voxel network achieves the state-of-the-art semantic segmentation performance on the SUN RGB-D benchmark dataset. The runtime of the proposed system can be boosted to 11-12Hz, enabling near to real-time performance using an i7 8-cores PC with Titan X GPU.

研究动机与目标

• 通过在机器人应用中整合语义理解与几何重建，实现实时密集3D语义映射。
• 解决现有方法将3D重建与语义分割分开处理所导致的精度下降问题。
• 设计一种联合学习框架，利用RGB图像（提供全局上下文）与3D点云（提供局部形状细节）以提升语义分割性能。
• 设计一种可学习的融合机制，根据各网络输出的置信度水平动态加权其预测结果。
• 在标准硬件上实现接近实时的性能（11–12 Hz），适用于实际机器人部署。

提出的方法

• Pixel-Voxel网络由两条并行分支构成：PixelNet通过堆叠空洞卷积处理RGB图像，以提取多尺度全局上下文。
• VoxelNet通过将3D点云体素化为3D网格，并应用3D卷积层来保留局部几何细节，避免池化操作。
• Softmax加权融合模块通过学习各网络输出的置信度权重，自适应地融合PixelNet与VoxelNet的得分图。
• 该融合机制具有可微性，可嵌入任意网络架构中，以支持多模态输入流的端到端学习。
• 系统将Pixel-Voxel网络与RGB-D SLAM集成，通过视觉里程计与体素标签的递归贝叶斯优化，逐步构建密集3D语义地图。
• 网络在SUN RGB-D数据集上使用Caffe、CUDA与cuDNN加速进行训练，推理阶段通过采用半分辨率输入实现实时性能优化。

实验结果

研究问题

• RQ1 与独立处理相比，联合学习RGB图像与3D点云是否能提升语义分割的准确性？
• RQ2 在深度学习框架中，如何有效融合RGB图像（全局上下文）与3D点云（局部几何）的互补优势？
• RQ3 可学习的、基于置信度的融合机制是否能优于固定权重的融合方法？
• RQ4 在标准台式机硬件上，使用联合RGB-D网络是否可行实现11–12 Hz的实时密集3D语义映射？
• RQ5 与SUN RGB-D基准相比，该系统在真实世界数据上的表现如何？哪些因素影响其泛化能力？

主要发现

• Pixel-Voxel网络在SUN RGB-D基准测试中达到最先进性能，使用VGG16时mIoU为68.77%，使用ResNet101时达到72.47%。
• Softmax加权融合模块通过根据置信度动态调整PixelNet与VoxelNet的贡献，性能优于等权重融合方法。
• 在配备i7八核CPU与Titan X GPU的系统上，使用半分辨率输入时，系统运行速度为11–12 Hz，满足近实时要求。
• 系统生成的3D语义地图具有准确的边界形状，真实世界客厅与卧室场景的定性结果验证了这一点。
• 尽管性能优异，部分错误仍由光照变化、合成SUN RGB-D数据与真实世界Kinect V2数据之间的域偏移以及传感器噪声导致。
• 通过仅处理关键帧并采用半分辨率输入，运行时间可提升至11–12 Hz，表明速度与精度之间存在可行的权衡。