[论文解读] A-CNN: Annularly Convolutional Neural Networks on Point Clouds

Artem Komarichev, Zichun Zhong+1 more|arXiv (Cornell University)|Apr 16, 2019

3D Shape Modeling and Analysis参考文献 45被引用 37

一句话总结

A-CNN 引入圆环卷积在点云上，使用常规和扩张环来捕捉局部几何，在分类与分割基准上达到最先进的结果。

ABSTRACT

Analyzing the geometric and semantic properties of 3D point clouds through the deep networks is still challenging due to the irregularity and sparsity of samplings of their geometric structures. This paper presents a new method to define and compute convolution directly on 3D point clouds by the proposed annular convolution. This new convolution operator can better capture the local neighborhood geometry of each point by specifying the (regular and dilated) ring-shaped structures and directions in the computation. It can adapt to the geometric variability and scalability at the signal processing level. We apply it to the developed hierarchical neural networks for object classification, part segmentation, and semantic segmentation in large-scale scenes. The extensive experiments and comparisons demonstrate that our approach outperforms the state-of-the-art methods on a variety of standard benchmark datasets (e.g., ModelNet10, ModelNet40, ShapeNet-part, S3DIS, and ScanNet).

研究动机与目标

• 动机并解决在不将不规则且稀疏的 3D 点云转换为规则网格的情况下进行学习的挑战。
• 提出圆环卷积，通过具有规律和扩张环的环状区域来捕捉局部邻域几何。
• 开发一个分层网络架构，使用基于约束的环形 k-NN、邻居排序、圆环卷积和环池化。
• 在大尺度场景中的对象分类、部件分割和语义分割方面展示出最先进的性能。

提出的方法

• 定义规律环和扩张环，结合基于约束的 k-NN 搜索，形成非重叠的局部邻域。
• 在投影切平面上对邻域进行排序，以获得顺时针/逆时针序列。
• 对有序的环形邻域应用圆环卷积，使用可配置的内核大小（如 1x3、1x5），并进行循环拼接以实现圆周一致性。
• 在每个环内使用最大池化对特征进行池化，创建环级描述符，然后将环拼接以获得更高层次的抽象。
• 使用两分支编码器，先是规律环，接着是扩张环，随后是分类器或分割头。
• 通过学习插值进行特征传播，以在分割任务中上采样并预测每个点的标签。

实验结果

研究问题

• RQ1 相较于现有的基于点的卷积，环邻域上的圆环卷积是否能改善点云局部几何的表征？
• RQ2 规律环和扩张环结构是否在减少重叠与冗余的同时实现点云的多尺度上下文聚合？
• RQ3 在投影切平面上对邻居进行排序是否能有效学习 3D 任务的局部点关系？
• RQ4 所提的 A-CNN 架构是否能在分类、部件分割和语义分割数据集上达到最先进的结果？

主要发现

• A-CNN 在 ModelNet10（AAC 95.3，OA 95.5）和 ModelNet40（AAC 90.3，OA 92.6）上，对 1024 点输入实现了接近甚至等同于最先进的准确率。
• A-CNN 在模型分类基准上优于许多基于点云的方法，并且与若干体素化及多视角方法相竞争，甚至超越它们。
• 在 ShapeNet-part、S3DIS 和 ScanNet 的分割基准上，A-CNN 获得强劲的平均 IoU 分数，并在各数据集上保持竞争性的 OA（如论文表 2 所示）。
• 消融研究表明：无重叠的环、邻居排序和圆环卷积各自对性能有贡献，其中环结构带来最大的提升。