[论文解读] Semantic Segmentation for Point Cloud Scenes via Dilated Graph Feature Aggregation and Pyramid Decoders

Yongqiang Mao, Xian Sun+5 more|arXiv (Cornell University)|Apr 11, 2022

3D Shape Modeling and Analysis被引用 7

一句话总结

该论文提出DGFA-Net，一种新颖的点云语义分割框架，通过空洞图卷积实现多感受野特征聚合，并结合金字塔解码器与多基函数聚合损失（MALoss），提升具有相似空间结构实例的判别能力。该方法在S3DIS、ShapeNetPart和Toronto-3D数据集上达到最先进性能，mIoU从61.8%提升至65.8%，OA从88.94%提升至94.78%。

ABSTRACT

Semantic segmentation of point clouds generates comprehensive understanding of scenes through densely predicting the category for each point. Due to the unicity of receptive field, semantic segmentation of point clouds remains challenging for the expression of multi-receptive field features, which brings about the misclassification of instances with similar spatial structures. In this paper, we propose a graph convolutional network DGFA-Net rooted in dilated graph feature aggregation (DGFA), guided by multi-basis aggregation loss (MALoss) calculated through Pyramid Decoders. To configure multi-receptive field features, DGFA which takes the proposed dilated graph convolution (DGConv) as its basic building block, is designed to aggregate multi-scale feature representation by capturing dilated graphs with various receptive regions. By simultaneously considering penalizing the receptive field information with point sets of different resolutions as calculation bases, we introduce Pyramid Decoders driven by MALoss for the diversity of receptive field bases. Combining these two aspects, DGFA-Net significantly improves the segmentation performance of instances with similar spatial structures. Experiments on S3DIS, ShapeNetPart and Toronto-3D show that DGFA-Net outperforms the baseline approach, achieving a new state-of-the-art segmentation performance.

研究动机与目标

• 解决因感受野唯一性导致的点云语义分割中相似空间结构实例误分类问题。
• 克服固定KNN感受野限制多尺度局部关系学习的局限性。
• 提出一种系统化方法，利用空洞图与多分辨率点集作为计算基础，表达多感受野特征。
• 通过新型多基函数聚合损失（MALoss）优化多感受野基底上的损失，增强特征表示能力。
• 在标准基准上实现最先进性能，尤其在难以区分的平面实例（如墙体和木板）上表现优异。

提出的方法

• 提出空洞图卷积（DGConv），采用可配置膨胀率的稀疏KNN搜索策略构建稀疏膨胀图，以捕捉多尺度感受野。
• 设计空洞图特征聚合（DGFA）模块作为核心组件，利用DGConv在多个膨胀率和感受野区域间聚合特征。
• 实现金字塔解码器，对不同分辨率层级的特征进行解码，每一层级对应一个独立的点集分辨率，用作感受野计算基础。
• 引入多基函数聚合损失（MALoss），通过惩罚金字塔解码器输出之间的差异，促进多尺度特征学习中的多样性与鲁棒性。
• 在DGFA中集成密集跳跃连接，增强特征传播与复用，提升特征层次结构与感受野覆盖范围。
• 采用拼接方式的聚合函数组合多尺度DGConv输出，实证表明该方法性能最佳。

实验结果

研究问题

• RQ1 多感受野特征能否显著提升具有相似空间结构的点云实例（如相邻平面物体）的分割性能？
• RQ2 将多种分辨率点集作为感受野计算基础，对特征表示与分割精度有何影响？
• RQ3 在点云分割中，捕捉多样化感受野的最优膨胀率组合是什么？
• RQ4 多基函数聚合损失（MALoss）在多大程度上增强网络区分相似实例的能力？
• RQ5 浅层网络结合DGFA等高效模块，能否在参数量更少的情况下实现最先进性能，优于更深更重的模型？

主要发现

• DGFA-Net在S3DIS数据集上达到新的最先进mIoU（65.8%），较基线方法提升3.2%。
• 当在DGFA中结合MALoss与密集连接时，mIoU从61.8%提升至65.8%，证明了两个组件的有效性。
• 最优膨胀率组合为{1, 2, 4, 8}，实现最高mIoU（65.8%），表明更多感受野尺度可提升特征多样性。
• 采用拼接作为DGConv输出的聚合函数性能最佳，优于其他聚合策略。
• DGConv中最优采样步长Δ = 4在稀疏性与特征丰富度之间取得最佳平衡，实现最高mIoU。
• 尽管架构较浅，DGFA-Net在参数量更少的情况下仍实现优越性能，相较于许多现有方法更具实用性与效率。