[论文解读] DLA-Net: Learning Dual Local Attention Features for Semantic Segmentation of Large-Scale Building Facade Point Clouds

Yanfei Su, Weiquan Liu+5 more|arXiv (Cornell University)|Jun 1, 2021

3D Surveying and Cultural Heritage参考文献 44被引用 7

一句话总结

本文提出 DLA-Net，一种新颖的3D语义分割网络，通过使用双局部注意力（DLA）模块来增强大规模建筑立面点云中的局部特征学习。DLA 模块结合了自注意力机制与注意力池化，并引入了增强的位置编码，使该方法在新构建的大规模、细粒度建筑立面点云基准数据集上达到最先进性能，该数据集包含超过1.6亿个标注点。

ABSTRACT

Semantic segmentation of building facade is significant in various applications, such as urban building reconstruction and damage assessment. As there is a lack of 3D point clouds datasets related to the fine-grained building facade, we construct the first large-scale building facade point clouds benchmark dataset for semantic segmentation. The existing methods of semantic segmentation cannot fully mine the local neighborhood information of point clouds. Addressing this problem, we propose a learnable attention module that learns Dual Local Attention features, called DLA in this paper. The proposed DLA module consists of two blocks, including the self-attention block and attentive pooling block, which both embed an enhanced position encoding block. The DLA module could be easily embedded into various network architectures for point cloud segmentation, naturally resulting in a new 3D semantic segmentation network with an encoder-decoder architecture, called DLA-Net in this work. Extensive experimental results on our constructed building facade dataset demonstrate that the proposed DLA-Net achieves better performance than the state-of-the-art methods for semantic segmentation.

研究动机与目标

• 为解决建筑立面3D语义分割任务中缺乏大规模、细粒度点云数据集的问题。
• 提升3D点云分割中局部邻域特征的表征能力，尤其针对复杂、大规模场景。
• 开发一种可学习的注意力机制，以有效捕捉点云中的空间依赖关系与几何结构。
• 利用移动激光扫描（MLS）数据构建新的基准数据集，以支持未来在3D建筑立面理解方面的研究。

提出的方法

• 提出一种双局部注意力（DLA）模块，由自注意力模块与注意力池化模块组成，两者均通过位置编码模块进行增强。
• 将相对位置编码（相对点位置与欧氏距离）引入注意力机制，以提升空间感知能力。
• 采用随机采样策略以实现高效特征提取，避免最远点采样（Farthest-Point Sampling）带来的高计算开销。
• 将 DLA 模块嵌入编码器-解码器网络架构中，构建用于端到端语义分割的 DLA-Net。
• 采用多尺度特征聚合策略，以在大规模点云中保留细粒度细节。
• 通过结合查询点、关键点、相对位置与距离，设计位置编码模块以增强注意力学习能力。

实验结果

研究问题

• RQ1 可学习的注意力机制是否能有效捕捉大规模3D建筑立面点云中的局部几何与结构特征？
• RQ2 相对位置编码的引入在点云分割中如何改善基于注意力的特征学习？
• RQ3 在位置编码模块中，空间信息的最优配置是什么，以最大化分割精度？
• RQ4 DLA-Net 架构在大规模、细粒度建筑立面基准数据集上与最先进方法相比表现如何？
• RQ5 注意力池化模块在特征优化与分割性能提升方面起到了多大程度的贡献？

主要发现

• DLA-Net 在测试集上达到 68.2% 的平均交并比（mIoU），优于新构建基准上的最先进方法。
• 消融实验表明，将相对位置与欧氏距离同时引入位置编码模块可获得最佳性能，mIoU 提升至 59.7%。
• 在自注意力模块的映射函数与变换特征中均引入位置编码模块，可实现最高性能（mIoU：68.2%）。
• 若移除注意力池化模块，或替换为最大池化/平均池化，性能显著下降，证实其关键作用。
• 在注意力池化模块中引入位置编码模块，相比完全移除，可使 mIoU 提升 3.5 个百分点。
• 完整 DLA-Net 实现总体准确率（OA）为 83.9%，平均准确率（mAcc）为 81.4%，展现出在复杂立面场景中的强大泛化能力。