[论文解读] Interpolated Convolutional Networks for 3D Point Cloud Understanding

Jiageng Mao, Xiaogang Wang+1 more|arXiv (Cornell University)|Aug 13, 2019

3D Shape Modeling and Analysis参考文献 49被引用 30

一句话总结

本文提出 InterpConv，一种新颖的插值卷积操作，通过使用插值函数将特征插值到离散的卷积核权重坐标，使3D卷积神经网络能够直接处理不规则、稀疏且无序的点云。该方法在 ModelNet40、ShapeNet Parts 和 S3DIS 基准测试中实现了最先进性能，同时在保持计算效率的同时提升了对稀疏性和排列的不变性。

ABSTRACT

Point cloud is an important type of 3D representation. However, directly applying convolutions on point clouds is challenging due to the sparse, irregular and unordered data structure. In this paper, we propose a novel Interpolated Convolution operation, InterpConv, to tackle the point cloud feature learning and understanding problem. The key idea is to utilize a set of discrete kernel weights and interpolate point features to neighboring kernel-weight coordinates by an interpolation function for convolution. A normalization term is introduced to handle neighborhoods of different sparsity levels. Our InterpConv is shown to be permutation and sparsity invariant, and can directly handle irregular inputs. We further design Interpolated Convolutional Neural Networks (InterpCNNs) based on InterpConv layers to handle point cloud recognition tasks including shape classification, object part segmentation and indoor scene semantic parsing. Experiments show that the networks can capture both fine-grained local structures and global shape context information effectively. The proposed approach achieves state-of-the-art performance on public benchmarks including ModelNet40, ShapeNet Parts and S3DIS.

研究动机与目标

• 解决将标准卷积应用于不规则、稀疏且无序的3D点云所面临的挑战。
• 克服基于体素的3D卷积方法（信息损失、计算量高）和基于图的方法（对稀疏性敏感、核学习不稳定）的局限性。
• 设计一种可微分的、显式的点云特征与离散卷积核权重之间几何关系建模机制。
• 开发一种新型神经网络架构 InterpCNN，利用 InterpConv 实现3D识别与分割任务。
• 在保持效率和不变性的同时，实现在标准3D点云基准测试中的最先进性能。

提出的方法

• InterpConv 使用具有固定3D坐标的离散卷积核权重，并应用插值函数（如三线性或高斯）将输入点特征映射到邻近的核权重位置。
• 基于邻近点的数量或插值权重之和引入归一化项，以确保在不同点密度下保持对稀疏性的不变性。
• 通过插值显式建模几何关系，避免了基于图的方法中由MLP学习的连续核函数的需要。
• 通过多层、多感受野的 InterpConv 模块构建 InterpCNN，以捕捉局部几何细节和全局形状上下文。
• 核权重在3D空间中固定，特征插值过程可微，支持端到端训练。
• 该方法直接处理不规则输入，无需栅格化或图结构构建，从而保持几何保真度。

实验结果

研究问题

• RQ1 基于插值的特征聚合是否能在不规则点云上优于基于连续核的图网络？
• RQ2 如何使卷积层对点云稀疏性和排列具有不变性，同时保持几何结构？
• RQ3 基于插值的特征聚合结合显式核坐标是否优于体素化或基于图的方法？
• RQ4 在分割和分类任务中，三线性插值与高斯插值哪种插值函数能更好地平衡局部细节与全局上下文的捕捉？
• RQ5 核大小和长度如何影响点云理解中的性能与模型效率？

主要发现

• InterpCNN 在 ModelNet40 上达到 93.0% 的准确率，优于 PointNet++（90.7%）和 DGCNN（92.2%），且参数量相当或更少。
• 该方法在 ShapeNet Parts（使用三线性插值时准确率为 86.3%）和 S3DIS 上均实现了最先进性能，展现出强大的泛化能力。
• 使用 $3\times3\times3$ 的 InterpConv 核时性能最优，更大的核（如 $5\times5\times5$）未带来提升且参数量增加。
• 核长度 $l$ 显著影响性能，最优值在 0.1–0.4 之间，过小或过大均导致准确率下降。
• 在分割任务中，三线性插值优于高斯插值，因其能更好地捕捉细粒度的几何结构。
• 基于插值权重之和的归一化方法在极端稀疏情况下表现更稳健，但总体上两种归一化方法性能相近。