[论文解读] Generalizing Discrete Convolutions for Unstructured Point Clouds

Alexandre Boulch|arXiv (Cornell University)|Jan 1, 2019

3D Surveying and Cultural Heritage被引用 9

一句话总结

本文通过用连续核替代离散核，提出了一种用于非结构化点云的连续卷积神经网络，实现了对稀疏、不规则点数据的直接处理，无需体素化。该方法在大规模点云的形状分类、部件分割和语义分割任务中达到了最先进性能。

ABSTRACT

Point clouds are unstructured and unordered data, as opposed to images. Thus, most of machine learning approaches, developed for images, cannot be directly transferred to point clouds. It usually requires data transformation such as voxelization, inducing a possible loss of information. In this paper, we propose a generalization of the discrete convolutional neural networks (CNNs) able to deal with sparse input point cloud. We replace the discrete kernels by continuous ones. The formulation is simple, does not set the input point cloud size and can easily be used for neural network design similarly to 2D CNNs. We present experimental results, competitive with the state of the art, on shape classification, part segmentation and semantic segmentation for large scale clouds.

研究动机与目标

• 解决将标准2D卷积神经网络（CNN）应用于非结构化、无序点云数据的挑战。
• 克服体素化等数据转换方法的局限性，这些方法可能导致信息丢失。
• 开发一种离散卷积的泛化形式，通过连续核直接在稀疏点云上操作。
• 实现一种类似于2D CNN的点云神经网络设计，兼具简洁性和高效性。
• 在大规模点云分类与分割基准测试中实现具有竞争力的性能。

提出的方法

• 用在连续空间区域上操作的连续核替代传统离散卷积核。
• 通过点云坐标上的积分运算定义卷积，避免基于网格的离散化。
• 将核函数定义为空间偏移的连续函数，从而在任意点分布上实现可微分操作。
• 设计网络以处理可变尺寸的点云，无需固定输入维度或预处理步骤。
• 采用可微分采样策略，以连续方式计算局部邻域内的特征聚合。
• 将连续卷积层集成到类似标准2D CNN的深度学习架构中，支持端到端训练。

实验结果

研究问题

• RQ1 能否在不依赖体素化或基于网格采样的前提下，为非结构化点云有效构建连续卷积操作？
• RQ2 与现有的离散或体素化方法相比，所提出的连续卷积方法在性能和效率方面表现如何？
• RQ3 该方法在形状分类、部件分割和语义分割等多样化点云任务中的泛化能力如何？
• RQ4 与离散方法相比，连续核的公式是否能更好地保留细粒度几何细节？
• RQ5 该方法能否在最小化架构修改的前提下无缝集成到标准深度学习流程中？

主要发现

• 所提出的连续卷积方法在大规模点云基准测试中表现优异，性能达到或超过最先进水平。
• 该方法消除了体素化的需求，保留了在基于网格表示中会丢失的几何细节。
• 该架构支持可变尺寸的点云，无需输入填充或固定分辨率约束。
• 该方法可直接处理稀疏点云，且预处理需求极少，简化了网络设计流程。
• 该方法在多种点云任务中表现出强大的泛化能力，包括形状分类、部件分割和语义分割。
• 连续核公式支持在不规则数据结构上进行可微分且可扩展的特征学习。