[论文解读] APP-Net: Auxiliary-point-based Push and Pull Operations for Efficient Point Cloud Classification

Tao Lu, Chunxu Liu+3 more|arXiv (Cornell University)|May 2, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

APP-Net 提出了一种线性复杂度的局部聚合器，用于3D点云分类，通过辅助点将特征聚合与感受野扩展解耦，消除了冗余计算和内存使用。该方法在单张GPU上实现每秒处理超过10,000个样本的推理速度，且GPU显存占用低于10GB，相较于先前方法在效率方面表现更优，同时在ModelNet40数据集上保持了最先进水平的准确率。

ABSTRACT

Aggregating neighbor features is essential for point cloud classification. In the existing work, each point in the cloud may inevitably be selected as the neighbors of multiple aggregation centers, as all centers will gather neighbor features from the whole point cloud independently. Thus each point has to participate in the calculation repeatedly and generates redundant duplicates in the memory, leading to intensive computation costs and memory consumption. Meanwhile, to pursue higher accuracy, previous methods often rely on a complex local aggregator to extract fine geometric representation, which further slows down the classification pipeline. To address these issues, we propose a new local aggregator of linear complexity for point cloud classification, coined as APP. Specifically, we introduce an auxiliary container as an anchor to exchange features between the source point and the aggregating center. Each source point pushes its feature to only one auxiliary container, and each center point pulls features from only one auxiliary container. This avoids the re-computation issue of each source point. To facilitate the learning of the local structure of cloud point, we use an online normal estimation module to provide the explainable geometric information to enhance our APP modeling capability. Our built network is more efficient than all the previous baselines with a clear margin while still consuming a lower memory. Experiments on both synthetic and real datasets demonstrate that APP-Net reaches comparable accuracies to other networks. It can process more than 10,000 samples per second with less than 10GB of memory on a single GPU. We will release the code in https://github.com/MCG-NJU/APP-Net.

研究动机与目标

• 为解决现有点云分类网络中因冗余邻域特征聚合导致的高计算与内存开销问题。
• 将特征聚合与感受野扩展解耦，以减少重复计算与内存占用。
• 设计一种轻量化、高效的局部聚合器，在显著提升推理速度与内存效率的同时保持高准确率。
• 通过最小化冗余操作并利用辅助容器进行结构化特征交换，实现在大规模点云上实现实时推理。

提出的方法

• 引入一个辅助点容器作为共享中间媒介，用于在源点与聚合中心之间协调特征交换。
• 每个源点仅将其特征推送到一个辅助容器，每个中心仅从一个此类容器拉取特征，从而消除多中心邻域冲突。
• 使用位置感知的在线法向量估计模块，提供几何上下文信息，以增强局部特征建模能力。
• 在拉取操作后应用可学习的delta函数更新特征，通过拼接操作提升表示学习能力。
• 采用自适应下采样与速率控制（rd 和 ra）机制，以管理感受野大小，并在网络深度上保持性能稳定。
• 在最终聚合步骤中结合平均池化与最大池化操作，以同时保留上下文与判别性特征。

实验结果

研究问题

• RQ1 能否设计一种线性复杂度的局部聚合器，以减少点云分类中的冗余计算与内存使用？
• RQ2 将特征聚合与感受野扩展解耦是否能在不损失准确率的前提下提升效率？
• RQ3 辅助点能否作为不规则点云中结构化特征交换的有效且轻量级机制？
• RQ4 通过法向量估计引入的几何先验如何影响高效局部聚合器的性能？
• RQ5 在保持具有竞争力的分类准确率的前提下，推理速度与内存消耗可被降低到何种程度？

主要发现

• APP-Net 在单张GPU上每秒可处理超过10,000个点云样本，推理速度显著优于先前方法。
• 该模型的GPU显存占用低于10GB，相较于现有基线模型展现出更优的内存效率。
• 在ModelNet40数据集上，APP-Net实现了84.3%的整体准确率（OA），与最先进方法持平，且网络结构更为简洁。
• 消融实验证实，在拉取步骤后采用拼接与delta函数的组合能取得最佳性能，优于残差连接或恒等连接。
• 3层网络配置（rd = [8,8,8]，ra = [64,64,64]）达到最高准确率，表明该深度与感受野配置为最优。
• 结合平均池化与最大池化操作可取得最佳性能（84.3% OA），优于单一池化策略或位置自适应池化。