[论文解读] Fully-Convolutional Point Networks for Large-Scale Point Clouds

Dario Rethage, Johanna Wald+3 more|arXiv (Cornell University)|Aug 21, 2018

3D Shape Modeling and Analysis参考文献 18被引用 20

一句话总结

本文提出全卷积点网络（FCPN），一种新颖的架构，通过将无序3D点云在内部转换为有序体素网格，实现高效的3D卷积处理，从而对大规模点云（最多200,000个点）进行端到端、单次前向推理。该方法在语义分割和3D场景描述任务中达到最先进性能，同时保持内存效率和空间有序输出。

ABSTRACT

This work proposes a general-purpose, fully-convolutional network architecture for efficiently processing large-scale 3D data. One striking characteristic of our approach is its ability to process unorganized 3D representations such as point clouds as input, then transforming them internally to ordered structures to be processed via 3D convolutions. In contrast to conventional approaches that maintain either unorganized or organized representations, from input to output, our approach has the advantage of operating on memory efficient input data representations while at the same time exploiting the natural structure of convolutional operations to avoid the redundant computing and storing of spatial information in the network. The network eliminates the need to pre- or post process the raw sensor data. This, together with the fully-convolutional nature of the network, makes it an end-to-end method able to process point clouds of huge spaces or even entire rooms with up to 200k points at once. Another advantage is that our network can produce either an ordered output or map predictions directly onto the input cloud, thus making it suitable as a general-purpose point cloud descriptor applicable to many 3D tasks. We demonstrate our network's ability to effectively learn both low-level features as well as complex compositional relationships by evaluating it on benchmark datasets for semantic voxel segmentation, semantic part segmentation and 3D scene captioning.

研究动机与目标

• 开发一种通用深度学习架构，能够高效处理大规模无序3D点云。
• 克服现有方法的局限性，这些方法要么限制输入为有序网格，要么仅在无序点集上运行。
• 实现在原始点云上端到端学习，无需预处理或后处理步骤。
• 支持在多个空间尺度上进行全局与局部特征学习，以适应多样化的3D理解任务。
• 通过生成空间一致、视角感知的描述，证明其在分割之外的应用潜力，如3D场景描述。

提出的方法

• 网络以无序3D点云作为输入，并在内部将其转换为结构化的3D体素网格，以实现3D卷积处理。
• 采用混合架构：输入为非结构化点云，但通过体素化将内部表示组织化，以支持高效的3D卷积。
• 网络采用全卷积编码器-解码器结构，结合多尺度抽象与上采样，保留空间分辨率和上下文信息。
• 通过3D卷积层进行特征学习，随后使用1×1×1卷积减少维度并增强表征能力。
• 在潜在空间中使用最近邻插值将特征传播回原始点云分辨率。
• 在3D描述任务中，最终层替换为全连接层，而语义分割主干网络保持冻结，并仅微调描述头部分。

实验结果

研究问题

• RQ1 能否设计一种全卷积网络，直接处理无结构点云，同时利用3D卷积的效率？
• RQ2 与纯点基或纯体素基网络相比，所提出的混合架构在性能和可扩展性方面表现如何？
• RQ3 该网络能否生成空间一致、视角感知的3D场景描述，从而实现更高层次的场景理解？
• RQ4 该方法在大规模点云（如整个房间）上扩展时，内存开销是否保持最小？
• RQ5 通过体素化实现的内部特征组织是否相比直接点基处理显著提升特征学习能力？

主要发现

• FCPN在ShapeNet部件分割基准上达到最先进性能，在16个类别中的12个类别中表现优于先前方法，平均mIoU达84.0。
• 在ScanNet数据集上进行语义体素标注时，网络可在单次前向传播中处理高达200,000个点的点云，Titan Xp显卡上仅需9.1秒推理时间。
• 当处理空间范围扩大五倍、点数扩大十倍的点云时，内存消耗仅增加40%，展现出强大的可扩展性。
• 网络生成空间有序输出，成功实现3D场景描述，生成上下文相关、视角感知的描述。
• 模型在尺度上泛化良好：可在小区域（如2.4×2.4×2.4 m）上进行训练，并在推理时直接应用于更大场景，无需重新训练。
• 消融研究证实，内部体素化与3D卷积处理相比纯点基基线，显著提升了特征学习能力。