[论文解读] GPSFormer: A Global Perception and Local Structure Fitting-based Transformer for Point Cloud Understanding

Changshuo Wang, Meiqing Wu+6 more|arXiv (Cornell University)|Jul 18, 2024

3D Surveying and Cultural Heritage被引用 4

一句话总结

GPSFormer 是一种用于点云理解的新型 Transformer 架构，通过结合全局感知模块（GPM）与局部结构拟合卷积（LSFConv），同时捕捉全局上下文与细粒度的局部几何结构。其在 ScanObjectNN 上实现了 95.4% 的准确率，仅使用 2.36M 参数，优于无需外部预训练数据的先前方法。

ABSTRACT

Despite the significant advancements in pre-training methods for point cloud understanding, directly capturing intricate shape information from irregular point clouds without reliance on external data remains a formidable challenge. To address this problem, we propose GPSFormer, an innovative Global Perception and Local Structure Fitting-based Transformer, which learns detailed shape information from point clouds with remarkable precision. The core of GPSFormer is the Global Perception Module (GPM) and the Local Structure Fitting Convolution (LSFConv). Specifically, GPM utilizes Adaptive Deformable Graph Convolution (ADGConv) to identify short-range dependencies among similar features in the feature space and employs Multi-Head Attention (MHA) to learn long-range dependencies across all positions within the feature space, ultimately enabling flexible learning of contextual representations. Inspired by Taylor series, we design LSFConv, which learns both low-order fundamental and high-order refinement information from explicitly encoded local geometric structures. Integrating the GPM and LSFConv as fundamental components, we construct GPSFormer, a cutting-edge Transformer that effectively captures global and local structures of point clouds. Extensive experiments validate GPSFormer's effectiveness in three point cloud tasks: shape classification, part segmentation, and few-shot learning. The code of GPSFormer is available at \url{https://github.com/changshuowang/GPSFormer}.

研究动机与目标

• 为解决从无序、不规则点云中捕捉复杂形状信息的挑战，且不依赖外部数据。
• 提升点云分析中全局上下文表征与局部几何细节建模的能力。
• 开发一种轻量化但强大的 Transformer 架构，有效平衡长距离依赖学习与局部结构拟合。
• 实现在形状分类、部件分割和少样本学习等任务中的高性能点云理解。

提出的方法

• 全局感知模块（GPM）使用自适应可变形图卷积（ADGConv），在特征空间中动态学习局部邻域，实现灵活的短程依赖建模。
• ADGConv 后接残差交叉注意力（RCA），通过特征表示之间的交叉注意力机制，增强全局上下文理解。
• 多头注意力（MHA）用于捕捉整个点云特征空间中的长程依赖关系。
• 局部结构拟合卷积（LSFConv）将局部几何建模为基于泰勒级数的多项式拟合问题，低阶项捕捉基本形状，高阶项用于细化边缘与细节。
• LSFConv 通过可学习参数显式编码局部几何结构，实现对复杂局部变化的精确拟合。
• 完整 GPSFormer 模型将 GPM 与 LSFConv 整合到统一的 Transformer 框架中，联合优化全局与局部表征。

实验结果

研究问题

• RQ1 一种自监督、无需数据的方法能否有效从不规则点云中学习丰富的形状表征？
• RQ2 Transformer 模型如何同时捕捉长程依赖关系并建模细粒度的局部几何结构？
• RQ3 自适应可变形图卷积在点云表征中能在多大程度上提升局部特征学习？
• RQ4 基于多项式的局部结构拟合是否优于标准卷积或基于注意力的局部聚合方法？

主要发现

• GPSFormer 在 ScanObjectNN 基准上达到 95.4% 的 top-1 准确率，以仅 2.36M 参数的极低参数量超越了最先进方法。
• 消融实验表明，结合 ADGConv、RCA 和 MHA 可获得最高性能（95.4%），证实了三者之间的互补作用。
• ADGConv 中的邻域半径至关重要：20 个邻居时性能最优（95.4%），半径过小或过大均导致准确率下降。
• LSFConv 在可学习参数 $p$ 且 $s=1$ 时表现最佳（95.4%），凸显了自适应高阶拟合的重要性。
• t-SNE 可视化显示，与 Point-BERT 相比，GPSFormer 学习到的特征表示更紧凑且更具判别性，类内特征方差更小。
• GPSFormer 的推理计算成本仅为 0.7 GFLOPS，参数量仅 2.36M，展现出强大性能下的高效率。