[论文解读] APPT : Asymmetric Parallel Point Transformer for 3D Point Cloud Understanding

Hengjia Li, Zhengkai Tu+6 more|arXiv (Cornell University)|Mar 31, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出了一种新型3D点云网络——非对称并行点Transformer（APPT），通过全局枢轴注意力（GPA）和非对称并行分支，增强全局上下文建模能力，有效整合局部与全局特征。通过使用最远点采样得到的枢轴点实现高效的长程注意力，并采用渐进式通道/采样比例策略，APPT在S3DIS、ModelNet40和ShapeNet基准上实现最先进性能，mIoU提升最高达72.3%。

ABSTRACT

Transformer-based networks have achieved impressive performance in 3D point cloud understanding. However, most of them concentrate on aggregating local features, but neglect to directly model global dependencies, which results in a limited effective receptive field. Besides, how to effectively incorporate local and global components also remains challenging. To tackle these problems, we propose Asymmetric Parallel Point Transformer (APPT). Specifically, we introduce Global Pivot Attention to extract global features and enlarge the effective receptive field. Moreover, we design the Asymmetric Parallel structure to effectively integrate local and global information. Combined with these designs, APPT is able to capture features globally throughout the entire network while focusing on local-detailed features. Extensive experiments show that our method outperforms the priors and achieves state-of-the-art on several benchmarks for 3D point cloud understanding, such as 3D semantic segmentation on S3DIS, 3D shape classification on ModelNet40, and 3D part segmentation on ShapeNet.

研究动机与目标

• 为解决现有基于Transformer的3D点云网络中有效感受野有限的问题，这些网络通常忽略全局依赖性。
• 改进3D点云表征学习中局部几何细节与全局语义上下文的融合。
• 设计一种计算效率高的全局注意力机制，能够良好扩展至大规模点云。
• 验证在网络深度方向上逐步增加通道与采样比例的非对称并行架构的有效性。

提出的方法

• 提出全局枢轴注意力（GPA），一种基于最远点采样枢轴点的标量注意力机制，可高效建模长程依赖性。
• 引入非对称并行模块，通过独立的并行流分别处理局部特征（通过局部组注意力LGA）和全局特征（通过GPA）。
• 采用渐进式通道比例策略，从浅层到深层逐步增加分配给全局分支的通道比例。
• 应用渐进式采样比例策略，随着网络深度增加，逐步提升全局分支中的枢轴点数量。
• 采用简单的局部与全局特征输出拼接作为融合策略，性能优于逐元素相加或基于SE的拼接。
• 设计完整的网络框架APPT，集成上述组件，实现端到端的3D点云理解。

实验结果

研究问题

• RQ1 基于采样枢轴点的全局注意力机制是否能有效扩大3D点云网络中的有效感受野？
• RQ2 如何在深度3D点云网络中有效融合局部与全局特征，同时保持较低的计算开销？
• RQ3 从浅层到深层逐步提升全局特征容量是否能提升3D理解任务的性能？
• RQ4 与串行或对称设计相比，所提出的非对称并行设计在特征融合与准确率方面表现如何？

主要发现

• APPT在S3DIS 3D语义分割基准上达到72.3%的mIoU，优于先前方法（包括Point Transformer和Stratified Transformer）。
• 消融实验证实，采用GPA的并行设计可实现72.3%的mIoU，显著优于串行设计（70.9% mIoU）。
• GPA在长程依赖建模方面优于其他全局模块（如Stratified Transformer（ST）、Squeeze-Extraction（SE）和Global Context（GC））.
• 渐进式通道比例策略（$C_g/C\uparrow$）实现最高mIoU（72.3%），优于固定或递减比例策略。
• 渐进式采样比例策略（$M/N\uparrow$）取得最佳性能（72.3% mIoU），证明在深层增加枢轴点数量具有显著优势。
• 简单的局部与全局特征拼接实现最佳性能（72.3% mIoU），优于基于Squeeze-Extraction的融合或逐元素相加。