[论文解读] Grid-GCN for Fast and Scalable Point Cloud Learning

Qiangeng Xu, Xudong Sun+3 more|arXiv (Cornell University)|Dec 6, 2019

3D Shape Modeling and Analysis参考文献 52被引用 9

一句话总结

Grid-GCN 提出了一种快速且可扩展的点云学习框架，采用覆盖感知网格查询（CAGQ）实现高效的数据结构化，以及网格上下文聚合（GCA）实现上下文感知的图卷积。该方法在分类和分割基准测试中实现了最先进（SOTA）的准确率，相较于先前方法提速高达50倍，包括在包含81920个点的ScanNet数据集上实现50fps的推理速度。

ABSTRACT

Due to the sparsity and irregularity of the point cloud data, methods that directly consume points have become popular. Among all point-based models, graph convolutional networks (GCN) lead to notable performance by fully preserving the data granularity and exploiting point interrelation. However, point-based networks spend a significant amount of time on data structuring (e.g., Farthest Point Sampling (FPS) and neighbor points querying), which limit the speed and scalability. In this paper, we present a method, named Grid-GCN, for fast and scalable point cloud learning. Grid-GCN uses a novel data structuring strategy, Coverage-Aware Grid Query (CAGQ). By leveraging the efficiency of grid space, CAGQ improves spatial coverage while reducing the theoretical time complexity. Compared with popular sampling methods such as Farthest Point Sampling (FPS) and Ball Query, CAGQ achieves up to 50X speed-up. With a Grid Context Aggregation (GCA) module, Grid-GCN achieves state-of-the-art performance on major point cloud classification and segmentation benchmarks with significantly faster runtime than previous studies. Remarkably, Grid-GCN achieves the inference speed of 50fps on ScanNet using 81920 points per scene as input.

研究动机与目标

• 为解决基于点的模型中数据结构化带来的高计算成本问题，该过程可能消耗高达88%的总训练时间。
• 相比FPS和球查询（Ball Query），提升点云采样和邻域查询的空间覆盖范围，同时降低时间复杂度。
• 通过结合高效的基于网格的结构化方法与有效的图卷积，实现实时、大规模点云处理。
• 在点云分类和分割任务中实现最先进（SOTA）的性能，同时显著降低推理延迟。

提出的方法

• 提出覆盖感知网格查询（CAGQ），一种新颖的数据结构化策略，利用体素化技术加速中心点采样与邻近点查询。
• CAGQ 通过覆盖感知的采样机制优先选择覆盖不足的区域，确保完整的空间覆盖，减少冗余并提升粒度。
• 采用网格上下文聚合（GCA），一种图卷积模块，通过聚合邻近网格单元的特征来增强局部上下文信息，同时不增加计算开销。
• 采用多尺度 GridConv 层架构，通过交替进行下采样和上采样，实现在点群之间的层次化特征学习。
• 在边关系计算中引入覆盖权重，以强调覆盖不足的区域，从而提升模型的鲁棒性和准确性。
• 通过仅在占据的体素上进行计算，优化推理速度，从而在稀疏点云中降低内存和计算成本。

实验结果

研究问题

• RQ1 基于网格的数据结构化方法是否能在保持或提升空间覆盖范围的同时，降低点云采样和邻域查询的时间复杂度？
• RQ2 基于网格的上下文聚合集成如何影响图卷积在点云学习中的性能与效率？
• RQ3 结合体素化与基于点的方法的混合方法，在大规模点云上能否同时实现高准确率与实时推理？
• RQ4 覆盖感知采样与上下文池化对点云分割与分类任务中的模型准确率与推理速度有何影响？

主要发现

• 在 ModelNet40 基准上，Grid-GCN 在无需投票机制的情况下实现了 93.1% 的最先进（SOTA）总体准确率，优于先前方法，且平均速度快5倍。
• 在 ScanNet 基准上，Grid-GCN 相较其他模型实现了10倍的加速，对于81920个输入点的推理延迟仅为19.8ms。
• Grid-GCN 在使用81920个点处理 ScanNet 时实现了50fps的推理速度，证明了其在大规模点云处理中的实时能力。
• 消融实验表明，CAGQ 和 GCA 显著提升了速度与准确率，覆盖权重虽仅增加少量延迟，但使准确率提升了0.6%。
• 可扩展性分析显示，当输入点数从4096增加到81920时，Grid-GCN 相较 PointNet++ 仍保持11倍的加速优势。
• 减少 GridConv 层的输出通道数可实现37%的加速，且准确率下降可忽略，凸显了该模型的高效性。