[论文解读] Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation

Li Jiang, Hengshuang Zhao+4 more|arXiv (Cornell University)|Sep 23, 2019

3D Shape Modeling and Analysis参考文献 29被引用 32

一句话总结

本文提出了一种分层点-边交互网络，通过双分支框架联合学习点特征与边特征，以增强3D点云语义分割性能。该方法引入一种分层图构建机制并结合边上采样，逐步将多层点特征整合到边表示中，再通过语义一致性正则化对点预测进行优化，最终在S3DIS和ScanNet数据集上取得了最先进性能。

ABSTRACT

We achieve 3D semantic scene labeling by exploring semantic relation between each point and its contextual neighbors through edges. Besides an encoder-decoder branch for predicting point labels, we construct an edge branch to hierarchically integrate point features and generate edge features. To incorporate point features in the edge branch, we establish a hierarchical graph framework, where the graph is initialized from a coarse layer and gradually enriched along the point decoding process. For each edge in the final graph, we predict a label to indicate the semantic consistency of the two connected points to enhance point prediction. At different layers, edge features are also fed into the corresponding point module to integrate contextual information for message passing enhancement in local regions. The two branches interact with each other and cooperate in segmentation. Decent experimental results on several 3D semantic labeling datasets demonstrate the effectiveness of our work.

研究动机与目标

• 通过显式建模点与其局部邻点之间的语义关系，提升3D点云语义分割性能。
• 解决现有基于点的网络在捕捉丰富局部上下文信息方面的局限性，通过显式边建模加以改进。
• 设计一种分层图框架，逐步将多层点特征整合到边表示中。
• 通过融合编码了邻近点几何与语义上下文的边特征，增强点特征学习。
• 利用连接点之间的语义一致性对边特征进行正则化，提升特征判别能力。

提出的方法

• 该方法采用双分支架构：一个编码器-解码器点分支用于语义标注，一个独立的边分支用于学习边特征。
• 通过从粗粒度层初始化，并利用边上采样逐步将深层点特征融入，构建分层图。
• 边特征通过可学习函数计算，结合连接节点的点特征，其中拼接操作表现最佳。
• 将边特征反馈至点分支，以增强局部信息传递并改善点表示。
• 在最终边特征上应用语义一致性损失，促使同类别点具有相似的边表示。
• 利用多尺度边特征在各层间丰富点特征，提升上下文建模能力。

实验结果

研究问题

• RQ1 与标准基于点的方法相比，显式建模点与其邻点之间的边关系是否能提升3D语义分割性能？
• RQ2 如何有效整合多层点特征到边表示中，以增强上下文理解？
• RQ3 在边特征上施加语义一致性是否能提升特征判别能力与分割准确率？
• RQ4 用于捕捉几何与语义上下文的最优边特征聚合函数是什么？
• RQ5 与逐层独立构建图相比，结合边上采样的分层图构建方式有何优势？

主要发现

• 在S3DIS数据集上，所提方法实现了67.83%的平均交并比（mIoU），优于以往最先进方法。
• 在ScanNet v2测试集上，该方法实现了61.8%的mIoU，显著超越PointNet++（33.9%）和PointCNN（45.8%）。
• 消融实验表明，点特征拼接在边函数中表现最佳，优于减法、加法和Hadamard积。
• 若移除分层图构建与边上采样，mIoU降至57.01%，证明多层特征整合的重要性。
• 自适应聚合（AdaAggre）方法中，使用softmax的性能低于最大池化后拼接，表明特征组合优于加权信息传递。
• 加入语义一致性正则化的边分支显著提升了特征判别能力，表现为所有基准测试中mIoU与准确率均更高。