[论文解读] Deep Projective 3D Semantic Segmentation

Felix Järemo Lawin, Martin Danelljan+4 more|arXiv (Cornell University)|May 9, 2017

3D Shape Modeling and Analysis参考文献 23被引用 17

一句话总结

本文提出了一种基于深度投影的3D语义分割框架，通过将3D点云投影到合成2D图像上，利用强大的2D卷积神经网络（CNN）进行分割，随后将得分重新投影回点云。该方法在Semantic3D数据集上实现了新的最先进性能，相较于之前的方法实现了7.9%的相对提升，通过在多流网络中融合多模态输入（颜色、深度、法向量）实现。

ABSTRACT

Semantic segmentation of 3D point clouds is a challenging problem with numerous real-world applications. While deep learning has revolutionized the field of image semantic segmentation, its impact on point cloud data has been limited so far. Recent attempts, based on 3D deep learning approaches (3D-CNNs), have achieved below-expected results. Such methods require voxelizations of the underlying point cloud data, leading to decreased spatial resolution and increased memory consumption. Additionally, 3D-CNNs greatly suffer from the limited availability of annotated datasets. In this paper, we propose an alternative framework that avoids the limitations of 3D-CNNs. Instead of directly solving the problem in 3D, we first project the point cloud onto a set of synthetic 2D-images. These images are then used as input to a 2D-CNN, designed for semantic segmentation. Finally, the obtained prediction scores are re-projected to the point cloud to obtain the segmentation results. We further investigate the impact of multiple modalities, such as color, depth and surface normals, in a multi-stream network architecture. Experiments are performed on the recent Semantic3D dataset. Our approach sets a new state-of-the-art by achieving a relative gain of 7.9 %, compared to the previous best approach.

研究动机与目标

• 为解决3D-CNN在3D语义分割中的局限性，如体素化导致的高内存消耗和低空间分辨率。
• 通过将3D点云投影到合成2D视图上，利用2D-CNN实现语义分割，借鉴2D图像分割的成功经验。
• 研究不同输入模态（颜色、深度、表面法向量）在多流设置下的分割性能贡献。
• 通过利用预训练的2D模型和大规模图像数据集，减少对稀缺3D标注数据集的依赖。
• 通过投影式多流深度学习方法，在Semantic3D基准上实现最先进性能。

提出的方法

• 使用简单的启发式方法生成相机视角，将3D点云投影到多个合成2D图像平面上。
• 每个投影图像通过2D卷积神经网络（CNN）进行像素级语义分割。
• 将各视角的预测得分重新投影回3D点云，累积每个点的置信度得分。
• 采用多流网络架构，融合来自颜色、深度（jet映射）和表面法向量输入的独立流特征，以提高分割精度。
• 通过投票或平均方式聚合多个视角的得分，为每个3D点分配最终语义标签。
• 网络使用交叉熵损失进行训练，基础初始学习率为0.0001，每10个周期衰减一半，动量为0.99。

实验结果

研究问题

• RQ1 将3D点云投影到2D图像上，是否能够利用现有的2D-CNN实现高性能语义分割？
• RQ2 在多流设置下，不同输入模态（颜色、深度、表面法向量）对分割精度的贡献如何？
• RQ3 所提出的投影式2D-CNN方法在准确率和效率方面是否优于基于3D-CNN的方法？
• RQ4 该方法能否泛化到无颜色信息的点云，性能下降程度如何？
• RQ5 预训练的2D模型在多大程度上可减少对大规模3D标注数据集的需求？

主要发现

• 所提方法在Semantic3D简化测试集上实现了58.5%的平均交并比（mIoU），创下新SOTA记录。
• 多流RGB+D+N配置相比之前最佳方法（TLMC-MSR，mIoU为54.2%）实现了7.9%的相对提升。
• 仅使用RGB或法向量的单流模型分别实现了51.5%和51.1%的mIoU，显著优于基于3D-CNN的VoxNet。
• D+N（深度与法向量）配置实现了54.3%的mIoU，表明即使无颜色输入也能实现强大性能。
• 三种模态（RGB+D+N）的融合实现了最高性能，表明各流之间存在互补信息。
• 定性结果表明，对建筑物和植被等复杂结构的分割准确，且伪影极少。