[论文解读] Relation-Shape Convolutional Neural Network for Point Cloud Analysis

Yongcheng Liu, Bin Fan+2 more|arXiv (Cornell University)|Apr 16, 2019

3D Shape Modeling and Analysis参考文献 54被引用 91

一句话总结

RS-CNN 将常规网格卷积扩展到不规则点云，通过学习点之间的几何关系，在分类、分割和法线估计任务上达到最先进的结果。

ABSTRACT

Point cloud analysis is very challenging, as the shape implied in irregular points is difficult to capture. In this paper, we propose RS-CNN, namely, Relation-Shape Convolutional Neural Network, which extends regular grid CNN to irregular configuration for point cloud analysis. The key to RS-CNN is learning from relation, i.e., the geometric topology constraint among points. Specifically, the convolutional weight for local point set is forced to learn a high-level relation expression from predefined geometric priors, between a sampled point from this point set and the others. In this way, an inductive local representation with explicit reasoning about the spatial layout of points can be obtained, which leads to much shape awareness and robustness. With this convolution as a basic operator, RS-CNN, a hierarchical architecture can be developed to achieve contextual shape-aware learning for point cloud analysis. Extensive experiments on challenging benchmarks across three tasks verify RS-CNN achieves the state of the arts.

研究动机与目标

• 解决不规则点云的置换不变性、变换鲁棒性，以及形状感知表示。
• 提出一种关系-形状卷积（RS-Conv），学习质心点及其邻居之间的高层关系。
• 构建层次化的 RS-CNN 架构，实现对点云的上下文形状感知学习。
• 在分类、分割和法线估计任务上展示最先进的性能。

提出的方法

• 围绕采样的质心 x_i 与邻居 N(x_i) 构建局部球形邻域。
• 用关系映射 w_ij = M(h_ij) 替代传统的逐邻居权重，其中 h_ij 编码低层几何先验。
• 使用对称函数 A（如最大值）聚合变换后的邻居特征，得到 f_{P_sub}。
• 对 f_{P_sub} 应用通道提升的 MLP 以获得更高层的表示。
• 使用三个尺度的邻域并共享权重以捕捉多尺度几何。
• 端到端训练用于分类和分割等任务，以 xyz 坐标作为输入。

实验结果

研究问题

• RQ1 如何通过学习几何关系将网格 CNN 的概念扩展到不规则点云？
• RQ2 关系-形状卷积是否能在获得形状感知表示的同时提供置换不变性和对刚性变换的鲁棒性？
• RQ3 在分类、分割和法线估计任务上，RS-CNN 与最先进方法相比的表现如何？

主要发现

• 在 ModelNet40 上使用 xyz 输入（1k 点）经 10 次投票测试后，RS-CNN 的准确率达到 93.6%。
• RS-CNN 将 PointNet++ 在 ModelNet40 分类任务上的误差降低了 31.2%。
• 在 ShapeNet 部分分割任务中，RS-CNN 的类别 mIoU 为 84.0%，实例 mIoU 为 86.2%。
• 在 ModelNet40 使用 RS-CNN 的法线估计，报告的误差为 0.15，明显优于 PointNet++（0.29）。
• RS-CNN 展示对采样密度和几何扰动的鲁棒性，当输入点数减少时仍保持竞争性能。