[论文解读] Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation

Hui Zhou, Xinge Zhu+5 more|arXiv (Cornell University)|Aug 4, 2020

Advanced Neural Network Applications参考文献 33被引用 138

一句话总结

Cylinder3D 表示直接在 3D 中处理 LiDAR 点云，采用圆柱分区和 3D 卷积，以及专门的模块，可在 SemanticKITTI 上实现最先进的驾驶场景分割。

ABSTRACT

State-of-the-art methods for large-scale driving-scene LiDAR semantic segmentation often project and process the point clouds in the 2D space. The projection methods includes spherical projection, bird-eye view projection, etc. Although this process makes the point cloud suitable for the 2D CNN-based networks, it inevitably alters and abandons the 3D topology and geometric relations. A straightforward solution to tackle the issue of 3D-to-2D projection is to keep the 3D representation and process the points in the 3D space. In this work, we first perform an in-depth analysis for different representations and backbones in 2D and 3D spaces, and reveal the effectiveness of 3D representations and networks on LiDAR segmentation. Then, we develop a 3D cylinder partition and a 3D cylinder convolution based framework, termed as Cylinder3D, which exploits the 3D topology relations and structures of driving-scene point clouds. Moreover, a dimension-decomposition based context modeling module is introduced to explore the high-rank context information in point clouds in a progressive manner. We evaluate the proposed model on a large-scale driving-scene dataset, i.e. SematicKITTI. Our method achieves state-of-the-art performance and outperforms existing methods by 6% in terms of mIoU.

研究动机与目标

• 评估将 2D 投影用于驾驶场景 LiDAR 分割的局限性，并量化 3D 处理的优势。
• 研究 2D 与 3D 空间中的点表示和骨干网络，以识别有效的配置。
• 开发面向驾驶场景点云的圆柱基体素化和 3D CNN 骨干网络。
• 引入非对称残差块和基于维度分解的上下文建模模块，以提升效率和上下文建模能力。

提出的方法

• 引入 3D 圆柱分区，将 LiDAR 点在圆柱坐标中体素化，生成保持拓扑结构的 3D 表示。
• 使用稀疏 3D 卷积，用 3D U-Net 骨干网络处理圆柱基表示。
• 用非对称残差块替换标准残差块，以更好地匹配立方体形状的驾驶对象并降低计算量。
• 附加基于维度分解的上下文建模（DDCM）模块，将高秩上下文分解为三个低秩分量（3x1x1、1x3x1、1x1x3）并融合它们。
• 使用加权交叉熵损失加 Lovász-softmax 损失进行训练，以优化每点精度和 Miou。
• 使用初始学习率为 0.001 的 Adam 优化器。

实验结果

研究问题

• RQ1 通过圆柱分区在 3D 中处理 LiDAR 数据，是否优于基于 2D 投影的表示用于驾驶场景分割？
• RQ2 圆柱基体素化在捕捉户外场景的 3D 拓扑结构方面，与笛卡尔基体素化相比如何？
• RQ3 非对称残差块和维度分解上下文建模对整体性能的贡献有哪些？
• RQ4 Cylinder3D 与先前方法相比，在 SemanticKITTI 上取得了哪些性能提升？

主要发现

• Cylinder3D 在 SemanticKITTI 上实现了最先进的性能，在 mIoU 上显著优于现有方法。
• 3D 圆柱分区加 3D 卷积显著优于应用于基于投影的表示的 2D 骨干网络的结果。
• 将标准残差块替换为非对称残差块，获得约 1.5% 的 mIoU 增益。
• 纳入维度分解上下文建模模块进一步提升了 mIoU，消融实验显示显著增益。
• 翻转测试在对多个增强预测进行集成时提供了额外的小幅 mIoU 提升。