[论文解读] ConDaFormer: Disassembled Transformer with Local Structure Enhancement for 3D Point Cloud Understanding

Lunhao Duan, Shanshan Zhao+4 more|arXiv (Cornell University)|Dec 18, 2023

3D Surveying and Cultural Heritage被引用 9

一句话总结

ConDaFormer 引入了一种拆解的窗口注意机制，将 3D 窗口分成三个正交的二维平面以降低计算量，并通过深度方向稀疏卷积增加局部结构增强，以捕获局部几何并提升三维点云分割和检测的性能。

ABSTRACT

Transformers have been recently explored for 3D point cloud understanding with impressive progress achieved. A large number of points, over 0.1 million, make the global self-attention infeasible for point cloud data. Thus, most methods propose to apply the transformer in a local region, e.g., spherical or cubic window. However, it still contains a large number of Query-Key pairs, which requires high computational costs. In addition, previous methods usually learn the query, key, and value using a linear projection without modeling the local 3D geometric structure. In this paper, we attempt to reduce the costs and model the local geometry prior by developing a new transformer block, named ConDaFormer. Technically, ConDaFormer disassembles the cubic window into three orthogonal 2D planes, leading to fewer points when modeling the attention in a similar range. The disassembling operation is beneficial to enlarging the range of attention without increasing the computational complexity, but ignores some contexts. To provide a remedy, we develop a local structure enhancement strategy that introduces a depth-wise convolution before and after the attention. This scheme can also capture the local geometric information. Taking advantage of these designs, ConDaFormer captures both long-range contextual information and local priors. The effectiveness is demonstrated by experimental results on several 3D point cloud understanding benchmarks. Code is available at https://github.com/LHDuan/ConDaFormer .

研究动机与目标

• 在不牺牲上下文的前提下，降低大规模 3D 点云自注意力的计算成本。
• 将局部几何先验融入变换器块，以便在不规则点云上获得更好的特征学习。
• 在 3D 语义分割和目标检测基准测试中实现出色的性能。
• 为下游 3D 视觉任务提供高效的骨干网络设计。
• 提供消融研究以验证拆解和局部结构增强的贡献。

提出的方法

• 将立方体窗口拆解为三个正交的二维平面（XY、XZ、YZ），以在减少点数的情况下计算自注意力。
• 在平面之间应用基于上下文的自适应相对位置编码以保留位置信息。
• 融合来自三个平面的注意力输出，并通过一个线性层（DaFormer）投影。
• 引入 Local Structure Enhancement (LSE) 模块，包含前后注意力的深度方向稀疏卷积以及 1x1x1 卷积分支。
• 将 LSE 放在注意力前后，以丰富局部上下文并将长程上下文传播给局部邻居。
• 构建四阶段骨干网络，进行下采样，并使用类似 U-Net 的上采样用于语义分割，使用 FCAF3D/CAGroup3D 骨干用于检测。

实验结果

研究问题

• RQ1 将 3D 窗口拆解为三个正交的平面是否能在降低注意力计算的同时维持或提升性能？
• RQ2 在注意力前后加入通过深度方向稀疏卷积实现的局部结构增强是否提高了点云局部几何的建模？
• RQ3 与最先进方法相比，ConDaFormer 在 3D 语义分割和目标检测基准上的表现如何？
• RQ4 哪些消融实验能证实窗口拆解和跨平面的共享位置编码的有效性？

主要发现

• 在 ScanNet v2 和 S3DIS 上实现最先进的 mIoU，与 ConDaFormer（并在 ScanNet200 上也有竞争性结果）。
• DaFormer（拆解注意力）相较于立方体窗口注意力降低了计算量，性能在不同设置下相当或有所提升。
• 在注意力前后使用 Local Structure Enhancement (LSE) 可带来改进，且在同时使用两个分支时获得最佳结果。
• 在 SUN RGB-D 检测任务中，ConDaFormer 在 mAP@0.25 和 mAP@0.5 上具竞争力，参数量低于某些基线方法。
• 消融研究显示跨平面共享位置嵌入以及窗口大小对性能和效率的影响。