[论文解读] PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds

Mutian Xu, Runyu Ding+2 more|arXiv (Cornell University)|Mar 26, 2021

3D Shape Modeling and Analysis参考文献 58被引用 28

一句话总结

PAConv 通过从 Weight Bank 动态组装权重矩阵的卷积核，在基于点位位置的 ScoreNet 指导下，在简单骨干网络的三维点云上实现了强劲的结果。

ABSTRACT

We introduce Position Adaptive Convolution (PAConv), a generic convolution operation for 3D point cloud processing. The key of PAConv is to construct the convolution kernel by dynamically assembling basic weight matrices stored in Weight Bank, where the coefficients of these weight matrices are self-adaptively learned from point positions through ScoreNet. In this way, the kernel is built in a data-driven manner, endowing PAConv with more flexibility than 2D convolutions to better handle the irregular and unordered point cloud data. Besides, the complexity of the learning process is reduced by combining weight matrices instead of brutally predicting kernels from point positions. Furthermore, different from the existing point convolution operators whose network architectures are often heavily engineered, we integrate our PAConv into classical MLP-based point cloud pipelines without changing network configurations. Even built on simple networks, our method still approaches or even surpasses the state-of-the-art models, and significantly improves baseline performance on both classification and segmentation tasks, yet with decent efficiency. Thorough ablation studies and visualizations are provided to understand PAConv. Code is released on https://github.com/CVMI-Lab/PAConv.

研究动机与目标

• 解决三维点云的非规则性和无序性。
• 提供一个即插即用的卷积算子，能够与简单骨干一起使用。
• 提升相对于固定卷积核或穷举式卷积核预测方法的建模灵活性。
• 在分类与分割基准上展示出最先进或具有竞争力的性能。

提出的方法

• 定义一个包含多种基矩阵的 Weight Bank。
• 使用 ScoreNet 从相对点位预测系数。
• 将动态卷积核构造成 Bank 矩阵的加权和：K(p_i,p_j)=sum_m S_ij^m B_m。
• 用基于点关系的输入训练 ScoreNet（例如坐标和距离）。
• 通过相关性损失 L_corr 对权重矩阵进行正则化以促进多样性。

实验结果

研究问题

• RQ1 在不进行大规模骨干网络工程化的前提下，基于位置自适应、动态组装的卷积核是否能改进点云卷积？
• RQ2 在精度和效率方面，卷积核组装机制与穷举式卷积核预测或固定核点方法相比如何？
• RQ3 ScoreNet 输入、归一化和权重多样性对性能有何影响？
• RQ4 PAConv 是否能在简单网络架构下实现对象级和场景级任务的泛化？

主要发现

方法（时间顺序）	输入	准确率
PAConv (PN2) w/o vot.	1K points	93.2%
PAConv (DGC) w/o vot.	1K points	93.6%
PAConv (DGC) w/ vot.	1K points	93.9%
PointNet++	1K points	?

• PAConv 在 ModelNet40 上对 PointNet 提升了 4.0 个百分点，对 DGCNN 提升了 1.0 个百分点，未使用投票。
• 在 ShapeNet Part 上，PAConv 与 DGCNN 搭配使类别 mIoU 和实例 mIoU 分别提高了 2.3 和 0.9 点。
• 在 S3DIS 上，带 L_corr 的 PAConv 在分块采样方法中取得最佳的 mIoU，并将 PointNet++ 提升了 9.31 点。
• PAConv 以显著低于某些基线的 FLOPs 实现具有竞争力或最先进的性能。
• 一种相关性正则化版本的 PAConv 在分割精度（mIoU）和权重多样性方面带来额外提升。