[论文解读] Collect-and-Distribute Transformer for 3D Point Cloud Analysis

Haibo Qiu, Baosheng Yu+1 more|arXiv (Cornell University)|Jun 2, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

该论文提出CDFormer，一种用于3D点云分析的新型Transformer架构，采用收集与分发机制以联合建模局部与长程依赖关系。通过将点分组为局部块，将特征聚合至代理参考点以学习全局上下文，并通过交叉注意力机制将特征重新分发，CDFormer在多个点云基准测试中实现了最先进性能，同时具备更高的可扩展性与对不规则点分布的鲁棒性。

ABSTRACT

Remarkable advancements have been made recently in point cloud analysis through the exploration of transformer architecture, but it remains challenging to effectively learn local and global structures within point clouds. In this paper, we propose a new transformer network equipped with a collect-and-distribute mechanism to communicate short- and long-range contexts of point clouds, which we refer to as CDFormer. Specifically, we first employ self-attention to capture short-range interactions within each local patch, and the updated local features are then collected into a set of proxy reference points from which we can extract long-range contexts. Afterward, we distribute the learned long-range contexts back to local points via cross-attention. To address the position clues for short- and long-range contexts, we additionally introduce the context-aware position encoding to facilitate position-aware communications between points. We perform experiments on five popular point cloud datasets, namely ModelNet40, ScanObjectNN, ShapeNetPart, S3DIS and ScanNetV2, for classification and segmentation. Results show the effectiveness of the proposed CDFormer, delivering several new state-of-the-art performances on point cloud classification and segmentation tasks. The source code is available at \url{https://github.com/haibo-qiu/CDFormer}.

研究动机与目标

• 为解决在不规则、无序3D点云中有效建模局部与全局结构的挑战。
• 克服标准自注意力机制在包含数万个点的点云应用中产生的二次方复杂度问题。
• 通过引入上下文感知的位置编码，改进点云Transformer中的位置感知特征通信。
• 设计一种可扩展且高效的架构，确保在多样化点云数据集上保持高性能。
• 在3D点云分类与语义分割任务中实现最先进性能。

提出的方法

• 该方法使用K近邻（K=16）将点云划分为局部块，确保块大小一致，避免不规则窗口划分。
• 在每个块内应用局部自注意力机制，以捕捉短程空间依赖关系。
• 将局部块的特征收集至一组代理参考点，以建模长程全局上下文。
• 通过代理参考点与局部块之间的交叉注意力机制，将长程上下文重新分发至局部点。
• 引入上下文感知的位置编码，其中相对位置信息动态调制输入特征，以增强空间感知能力。
• 架构采用分层设计，包含多个阶段，使用FPS选择块中心点，并通过KNN进行特征聚合。

实验结果

研究问题

• RQ1 可学习的收集与分发机制是否能有效弥合3D点云表征学习中局部与全局上下文之间的鸿沟？
• RQ2 与固定位置编码相比，所提出的上下文感知位置编码在特征通信方面有何改进？
• RQ3 块大小（K）对点云分析中模型性能与特征覆盖范围有何影响？
• RQ4 CDFormer架构在点云分割与分类任务中，随着模型容量增加是否具备有效的可扩展性？
• RQ5 在标准基准测试中，该方法与现有最先进方法相比，在准确率与效率方面表现如何？

主要发现

• CDFormer在ModelNet40上实现93.8%的top-1准确率，超越先前方法，达到最先进水平。
• 在ScanObjectNN数据集上，CDFormer实现92.1%的mAcc，表明其在噪声较多、真实世界点云中具备强大泛化能力。
• 在S3DIS部分分割任务中，CDFormer-L实现72.2%的mIoU与78.5%的mAcc，创下该基准新最先进水平。
• 在ScanNetV2上，CDFormer-L实现71.8%的mIoU，展现出在大规模室内场景中的优异性能。
• 消融实验表明，增大模型规模可一致提升性能，mIoU从S模型的67.6%提升至L模型的72.2%，表明其具备强大可扩展性。
• 该方法保持了高点覆盖度，未覆盖点比例低于0.4%，平均每个点覆盖2.0次，有效减少了冗余与遗漏。