[论文解读] DensePoint: Learning Densely Contextual Representation for Efficient Point Cloud Processing

Yongcheng Liu, Bin Fan+4 more|arXiv (Cornell University)|Sep 9, 2019

3D Shape Modeling and Analysis参考文献 60被引用 32

一句话总结

DensePoint 提出一个置换不变的广义卷积（PConv）和一个密集连接的架构，直接从不规则点云学习多级、多尺度的语义上下文表示，在分类、检索、分割和法线估计等任务上实现了最先进的结果。

ABSTRACT

Point cloud processing is very challenging, as the diverse shapes formed by irregular points are often indistinguishable. A thorough grasp of the elusive shape requires sufficiently contextual semantic information, yet few works devote to this. Here we propose DensePoint, a general architecture to learn densely contextual representation for point cloud processing. Technically, it extends regular grid CNN to irregular point configuration by generalizing a convolution operator, which holds the permutation invariance of points, and achieves efficient inductive learning of local patterns. Architecturally, it finds inspiration from dense connection mode, to repeatedly aggregate multi-level and multi-scale semantics in a deep hierarchy. As a result, densely contextual information along with rich semantics, can be acquired by DensePoint in an organic manner, making it highly effective. Extensive experiments on challenging benchmarks across four tasks, as well as thorough model analysis, verify DensePoint achieves the state of the arts.

研究动机与目标

• 动机：说明需要充足的上下文语义信息以辨识由不规则点组成的复杂三维形状。
• 开发一种广义卷积算子，使其对置换不变，并支持在不规则点云上的局部连接和权重共享。
• 提出 DensePoint，一种密集连接架构，聚合多层次、多尺度的上下文以获得更丰富的表示。
• 通过 ePConv（分组滤波）增强表达能力，同时保持窄输出通道设计以提高效率。
• 在形状分类、检索、部件分割和法线估计等任务上展示最先进的性能。

提出的方法

• 引入 PConv，一种在点云上的广义卷积，定义为 f_N(x) = rho({phi(f_xn) for x_n in N(x)})，其中 phi 是一个共享变换，rho 是对称聚合。
• 定义 PPool，通过下采样点并在局部邻域上应用 PConv 来执行可学习的池化。
• 采用受 Dense 连接启发的 DensePoint 架构，其中每一层接收来自所有前面层的输入，并将其输出传递给所有后续层，从而实现密集上下文表示。
• 引入 ePConv（增强型 PConv），通过分组滤波扩展有效容量，同时保持窄输出通道，使用分组的 phi 和将组输出整合的 psi。
• 使用一个分阶段网络，包含三个 PPools 和多个 DensePoints 进行分类，以及四个 DensePoints 以特征传播来执行逐点任务。
• 对设计选择进行实验：窄宽度 k、聚合函数（推荐最大池化）、分组数 Ng，以及应用 DensePoint 的阶段。

实验结果

研究问题

• RQ1 能否将点云卷积算子做到置换不变并具备高效的局部模式学习？
• RQ2 与传统的分层点云网络相比，密集连接的多层次上下文学习框架是否能提升对形状的理解？
• RQ3 诸如窄通道宽度、分组滤波和阶段放置等设计选择如何影响跨任务的性能和效率？
• RQ4 与现有方法相比，DensePoint 在分类、检索、分割和法线估计方面可以取得哪些性能提升？

主要发现

• DensePoint 在四个任务上达到最先进的性能：分类、形状检索、部件分割和法线估计。
• 在 ModelNet40 分类任务使用 1k 点时，DensePoint 达到 93.2% 的准确率（超过 PointNet++ 和其他基于点的方法）。
• DensePoint 在检索任务上显著提升，使用 1k 点在 ModelNet40 上的 mAP 为 88.5%。
• 在 ShapeNet 的部件分割中，DensePoint 实现了 84.2% 的类别平均 IoU（class mIoU）和 86.4% 的实例平均 IoU（instance mIoU），超越领先的基于点的方法。
• 在 ModelNet40 的法线估计中，DensePoint 达到 0.149 的误差（cosine 损失），优于前人方法，并显著优于 PointNet++（0.29）及其他方法。
• 消融研究证实密集上下文学习、带分组滤波的 ePConv 以及最大池化聚合策略的有效性，DensePoint 一直优于基线和拼接变体。