[论文解读] GaIA: Graphical Information Gain based Attention Network for Weakly Supervised Point Cloud Semantic Segmentation

Min Seok Lee, Seok Woo Yang+1 more|arXiv (Cornell University)|Oct 2, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

该论文提出GaIA，一种基于图形信息增益的注意力网络，用于弱监督点云语义分割，通过利用目标点与其邻域之间的相对熵来减少认知不确定性，从而识别出可靠的特征。此外，该方法引入ArcPoint损失，通过在超球面上施加角度边界来优化高熵未标注点，在S3DIS和ScanNet-v2数据集上实现了最先进性能，且标注稀疏。

ABSTRACT

While point cloud semantic segmentation is a significant task in 3D scene understanding, this task demands a time-consuming process of fully annotating labels. To address this problem, recent studies adopt a weakly supervised learning approach under the sparse annotation. Different from the existing studies, this study aims to reduce the epistemic uncertainty measured by the entropy for a precise semantic segmentation. We propose the graphical information gain based attention network called GaIA, which alleviates the entropy of each point based on the reliable information. The graphical information gain discriminates the reliable point by employing relative entropy between target point and its neighborhoods. We further introduce anchor-based additive angular margin loss, ArcPoint. The ArcPoint optimizes the unlabeled points containing high entropy towards semantically similar classes of the labeled points on hypersphere space. Experimental results on S3DIS and ScanNet-v2 datasets demonstrate our framework outperforms the existing weakly supervised methods. We have released GaIA at https://github.com/Karel911/GaIA.

研究动机与目标

• 为在稀疏标注下提升模型可靠性，减少弱监督点云语义分割中的认知不确定性。
• 通过引入基于边界距离的损失，解决标准Softmax损失在优化高熵未标注点时的局限性，优先处理不确定样本。
• 通过基于相对熵的图形信息增益，将低熵点的可靠信息传播至高熵邻点，改善特征表示。
• 通过聚焦于不确定性减少和对模糊点的针对性优化，实现在无需全监督的情况下提升语义分割性能。

提出的方法

• 图形信息增益通过计算目标点与其邻域熵之间的相对熵，识别出可靠点，用于更新不确定特征。
• 该方法使用孪生网络分支计算每个点的熵，并通过邻域熵比较检测决策边界附近的可靠点。
• ArcPoint损失在Softmax损失中引入基于锚点的加法角度边界，显式优化高熵未标注点，使其在超球面上更接近已标注点的语义嵌入。
• 通过从可靠邻点传播可信信息，对高熵未标注点的特征表示进行优化，提升嵌入质量。
• 框架通过联合优化分割头和特征编码器，结合交叉熵损失与ArcPoint正则化，重点聚焦于不确定性减少。
• 训练在稀疏标注（如1%或每类1个点）下进行，模拟真实弱监督场景。

实验结果

研究问题

• RQ1 通过相对熵减少认知不确定性是否能提升弱监督点云语义分割性能？
• RQ2 在稀疏标注设置下，图形信息增益如何帮助识别可靠点以实现不确定性减少？
• RQ3 如ArcPoint这类基于角度边界的损失是否优于标准Softmax损失，以优化高熵未标注点？
• RQ4 在减少认知不确定性的同时，是否存在因高可靠性导致错误预测增加的权衡？该现象在不同类别间如何变化？
• RQ5 所提方法在S3DIS和ScanNet-v2上与现有弱监督基线相比，定量与定性表现如何？

主要发现

• 在1%和每类1个点的标注设置下，GaIA在S3DIS和ScanNet-v2上均达到最先进性能，优于现有弱监督方法。
• 图形信息增益通过相对熵有效识别可靠点，显著减少认知不确定性，从而改善特征表示。
• ArcPoint损失表现出短尾分布的角距离，表明其在优化未标注点方面优于标准Softmax损失。
• 尽管减少了不确定性，仍存在权衡：在1%标注下，高可靠性错误预测增加，尤其在column、sofa、bookcase和board等类别中更为明显。
• 在特定类别中，高可靠性错误预测数量在整个训练过程中持续保持高位，表明即使不确定性低，仍存在持续误分类现象。
• S3DIS上的定性结果表明，GaIA的预测结果比基线更接近真实标签，尤其在家具和杂乱区域等复杂区域表现更优。