[论文解读] Cascaded Non-local Neural Network for Point Cloud Semantic Segmentation

Mingmei Cheng, Le Hui+3 more|arXiv (Cornell University)|Jul 30, 2020

3D Shape Modeling and Analysis参考文献 29被引用 5

一句话总结

本文提出了一种级联非局部神经网络（PointNL），用于点云语义分割，通过在局部邻域、超点和全局三个层次上进行分层非局部操作，捕捉长距离依赖关系。通过级联这些操作，该方法在相比基线非局部网络显著降低计算成本和GPU显存使用的同时，实现了最先进（SOTA）的mIoU性能。

ABSTRACT

In this paper, we propose a cascaded non-local neural network for point cloud segmentation. The proposed network aims to build the long-range dependencies of point clouds for the accurate segmentation. Specifically, we develop a novel cascaded non-local module, which consists of the neighborhood-level, superpoint-level and global-level non-local blocks. First, in the neighborhood-level block, we extract the local features of the centroid points of point clouds by assigning different weights to the neighboring points. The extracted local features of the centroid points are then used to encode the superpoint-level block with the non-local operation. Finally, the global-level block aggregates the non-local features of the superpoints for semantic segmentation in an encoder-decoder framework. Benefiting from the cascaded structure, geometric structure information of different neighborhoods with the same label can be propagated. In addition, the cascaded structure can largely reduce the computational cost of the original non-local operation on point clouds. Experiments on different indoor and outdoor datasets show that our method achieves state-of-the-art performance and effectively reduces the time consumption and memory occupation.

研究动机与目标

• 为解决在不规则、无序的3D点云中捕捉长距离上下文依赖关系以实现语义分割的挑战。
• 降低标准非局部操作在点云上带来的高计算成本和内存消耗。
• 通过在多个尺度（局部邻域、超点、全局）上传播几何结构信息，提升特征的判别能力。
• 在高效训练和推理的前提下，实现点云语义分割的最先进性能。

提出的方法

• 该方法引入了一个具有三个层次的级联非局部模块：局部邻域级、超点级和全局级非局部操作。
• 在局部邻域级，非局部操作计算中心点的k-近邻之间的注意力权重，以增强局部特征。
• 在超点级，非局部操作利用学习到的注意力机制，聚合具有各向同性几何特征的区域（即超点）之间的特征。
• 在全局级，模型聚合所有超点的非局部特征，以捕捉整个点云中的长距离依赖关系。
• 该框架将级联非局部模块集成到受PointNet++启发的编码器-解码器架构中，实现端到端的语义分割。
• 分层设计通过将非局部操作限制在逐步变粗的尺度上，降低了计算复杂度，避免了对整个点云进行全量计算。

实验结果

研究问题

• RQ1 分层非局部机制是否能有效建模点云数据中的长距离依赖关系，从而提升语义分割性能？
• RQ2 在多个尺度（局部邻域、超点、全局）上级联非局部操作，对分割精度和计算效率有何影响？
• RQ3 级联非局部模块在多大程度上能够减少标准非局部网络在点云上的内存和时间开销？
• RQ4 所提出的方法是否在mIoU指标上超越现有最先进模型，同时保持更低的资源消耗？

主要发现

• 在S3DIS数据集中，PointNL在Area 5上实现了63.50%的mIoU，优于基线非局部方法（54.76%）和PointWeb（60.28%）。
• 在ScanNet数据集中，PointNL相比基线方法实现了5.6%的绝对mIoU提升，表明其在室内场景中具有强大性能。
• 在大规模SemanticKITTI数据集中，PointNL实现了52.2%的mIoU，超过PointNet++（20.1%）和DarkNet53Seg（49.9%），展现出在室外环境中的鲁棒性。
• 训练时间缩短至1.8天（基线非局部方法为6天），GPU显存使用量降低至8GB（基线为60GB），显著提升了效率。
• 每批次的推理时间仅为0.35秒，相比PointWeb的1.5秒，表明模型具有更快的推理速度和更高的效率。
• 消融实验表明，在所有三个层级（局部邻域、超点、全局）添加非局部操作（PointNL 123）可获得最高的mIoU（63.50%），且每一阶段均带来增量性能提升。