[论文解读] ASSANet: An Anisotropic Separable Set Abstraction for Efficient Point Cloud Representation Learning

Guocheng Qian, Hasan Abed Al Kader Hammoud+3 more|arXiv (Cornell University)|Oct 20, 2021

3D Shape Modeling and Analysis参考文献 48被引用 40

一句话总结

ASSANet 用 Separable SA 替代 PointNet++ 的 SA，在分类、分割和部件分割基准上实现更快的推理和更高的准确性。

ABSTRACT

Access to 3D point cloud representations has been widely facilitated by LiDAR sensors embedded in various mobile devices. This has led to an emerging need for fast and accurate point cloud processing techniques. In this paper, we revisit and dive deeper into PointNet++, one of the most influential yet under-explored networks, and develop faster and more accurate variants of the model. We first present a novel Separable Set Abstraction (SA) module that disentangles the vanilla SA module used in PointNet++ into two separate learning stages: (1) learning channel correlation and (2) learning spatial correlation. The Separable SA module is significantly faster than the vanilla version, yet it achieves comparable performance. We then introduce a new Anisotropic Reduction function into our Separable SA module and propose an Anisotropic Separable SA (ASSA) module that substantially increases the network's accuracy. We later replace the vanilla SA modules in PointNet++ with the proposed ASSA module, and denote the modified network as ASSANet. Extensive experiments on point cloud classification, semantic segmentation, and part segmentation show that ASSANet outperforms PointNet++ and other methods, achieving much higher accuracy and faster speeds. In particular, ASSANet outperforms PointNet++ by $7.4$ mIoU on S3DIS Area 5, while maintaining $1.6 imes $ faster inference speed on a single NVIDIA 2080Ti GPU. Our scaled ASSANet variant achieves $66.8$ mIoU and outperforms KPConv, while being more than $54 imes$ faster.

研究动机与目标

• 为移动和嵌入式设备推动高效的点云处理。
• 研究 PointNet++ SA 的瓶颈并提出更快的替代方案。
• 开发 Separable SA 和 Anisotropic Reduction，在不增加延迟的前提下提升精度。
• 用 ASSA 替换 PointNet++ 的 SA，形成 ASSANet 架构。
• 通过对 ASSANet 进行宽度和深度扩展来展示可扩展性。

提出的方法

• 引入 PreConv SA，在分组前对点特征应用 MLP。
• 开发 Separable SA，将学习分为分组前后的 MLP，并带有残差连接。
• 提出各向异性缩减（Anisotropic Reduction），在缩减过程中使用每个邻居的相对位置对特征进行缩放。
• 将 ASSA 集成到 PointNet++，形成 ASSANet，并在分类、语义分割和部件分割上进行评估。
• 通过宽度（C）和深度（D）对 ASSANet 进行扩展，以创建更大版本（如 ASSANet (L)）。
• 提供与 PointNet++、PVCNN、KPConv、PosPool、DeepGCN 等方法的对比结果。

实验结果

研究问题

• RQ1 在不牺牲精度的前提下，PointNet++ 的 SA 瓶颈能否被缓解？
• RQ2 可分离处理和各向异性缩减是否同时提升最近邻特征聚合的速度和精度？
• RQ3 与最先进方法相比，ASSANet 在标准三维任务（分类、语义分割、部件分割）上的表现如何？
• RQ4 对 ASSANet 的精度-速度权衡而言，宽度和深度扩展的影响有多大？

主要发现

方法	mIoU (%)	推理速度（次/秒）
PointNet	41.1	185.0
DeepGCN	52.5	0.8
PointCNN	57.3	124.1
Grid-GCN	57.8	123.5
PVCNN	59.0	89.8
PosPool* (S)	61.3	21.0
SegGCN	63.6	29.3
KPConv	65.4	1.2 (24.2)
PosPool*	66.7	8.3
PointNet++	55.6	116.6
ASSANet	63.0 (+7.4)	188.6 (1.6x)
ASSANet (L)	66.8 (+11.2)	65.6

• ASSANet 在 S3DIS Area-5 上的 mIoU 比 PointNet++ 高 7.4 点，同时快 1.6x。
• ASSANet (L) 在 S3DIS Area-5 上达到 66.8 mIoU，在精度方面超过多个方法，且速度显著更快（例如比 DeepGCN 快 294x；比 KPConv 快 54.6x）。
• 在 ModelNet40 分类上，ASSANet 获得 92.4% OA（+1.7），速度为 2.1x；ASSANet (L) 达到 92.9% OA（+2.2），速度为 1.3x。
• 在 ShapeNetPart 上，ASSANet 与 ASSANet (L) 的表现超过 PointNet++，且速度显著更快；ASSANet (L) 比 KPConv 快约 7.8x。
• 消融研究显示 PreConv SA、Separable SA，尤其是 ASSA 相比于原生 SA 提升了速度和准确性，而各向异性缩减提供了最佳的精度提升。
• 扩展分析揭示，宽度和深度的增加在可控的速度变化下提升了准确性，但在更高的宽度时收益递减。