[论文解读] A Closer Look at Local Aggregation Operators in Point Cloud Analysis

Ze Liu, Hu Han+3 more|arXiv (Cornell University)|Jul 2, 2020

3D Shape Modeling and Analysis参考文献 36被引用 20

一句话总结

本文提出位置池化（PosPool），一种用于点云处理的轻量化局部聚合算子，通过逐元素相乘结合平均池化的方式，将点特征与三维相对坐标进行融合——在ModelNet40、S3DIS和PartNet基准上实现最先进性能，优于复杂的可学习算子，尤其在PartNet上以7.4 mIoU的显著优势超越现有方法。

ABSTRACT

Recent advances of network architecture for point cloud processing are mainly driven by new designs of local aggregation operators. However, the impact of these operators to network performance is not carefully investigated due to different overall network architecture and implementation details in each solution. Meanwhile, most of operators are only applied in shallow architectures. In this paper, we revisit the representative local aggregation operators and study their performance using the same deep residual architecture. Our investigation reveals that despite the different designs of these operators, all of these operators make surprisingly similar contributions to the network performance under the same network input and feature numbers and result in the state-of-the-art accuracy on standard benchmarks. This finding stimulate us to rethink the necessity of sophisticated design of local aggregation operator for point cloud processing. To this end, we propose a simple local aggregation operator without learnable weights, named Position Pooling (PosPool), which performs similarly or slightly better than existing sophisticated operators. In particular, a simple deep residual network with PosPool layers achieves outstanding performance on all benchmarks, which outperforms the previous state-of-the methods on the challenging PartNet datasets by a large margin (7.4 mIoU). The code is publicly available at https://github.com/zeliu98/CloserLook3D

研究动机与目标

• 通过消除网络架构与实现方式的差异，公平评估不同局部聚合算子对点云网络性能的影响。
• 探究在深度网络中，复杂可学习聚合算子是否真正对高性能至关重要。
• 探索是否一个极简的非参数化算子能够匹配或超越现有复杂设计。
• 在一致的深度残差网络架构下，建立统一的基准以实现对局部聚合算子的公平比较。

提出的方法

• 提出位置池化（PosPool），一种无权重的局部聚合算子，通过邻居点特征与其三维相对坐标的逐元素相乘实现。
• 对乘积结果进行平均池化，将邻域信息聚合为一个中心点的单一特征向量。
• 采用以PosPool层为骨干的深度残差网络，所有层共享权重，且聚合模块中无可学习参数。
• 在三个基准——ModelNet40、S3DIS和PartNet上采用统一的实验设置，确保数据划分、输入分辨率和训练/推理协议的一致性。
• 可视化最终预测前的激活图，以比较不同算子的特征学习模式。
• 通过改变网络深度、宽度和瓶颈比，评估性能的鲁棒性与适应性。

实验结果

研究问题

• RQ1 当在相同的深度残差网络架构下评估时，不同局部聚合算子对网络性能的贡献是否不同？
• RQ2 像PosPool这样简单、非参数化的算子能否实现与复杂可学习算子相当或更优的性能？
• RQ3 现有算子的性能如何随模型容量（深度、宽度、瓶颈比）的变化而变化？
• RQ4 不同算子是否从同一输入点云中学习到相似或不同的特征表示？

主要发现

• 所有评估的局部聚合算子在适当调优后，均在ModelNet40、S3DIS和PartNet上达到最先进性能，尽管其设计与动机各不相同。
• 位置池化（PosPool）在具有挑战性的PartNet数据集上表现最佳，在验证集上比之前最先进方法高出7.4 mIoU。
• PosPool在不同模型容量下表现出更优的稳定性，而更复杂的算子如'AdaptWeight'在减少网络深度或宽度时出现显著的准确率下降。
• 激活图的可视化显示，不同算子在输入点云中学习到相似的高能区域，表明尽管架构不同，其特征表示仍趋于收敛。
• PosPool中无可学习权重，导致内存与计算开销极低，时间复杂度为O(ndK)，空间复杂度为O(0)。