[论文解读] Adaptive Affinity Loss and Erroneous Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation

Xiangrong Zhang, Zelin Peng+5 more|arXiv (Cornell University)|Aug 3, 2021

Advanced Neural Network Applications参考文献 51被引用 4

一句话总结

本文提出了一种单阶段弱监督语义分割方法，通过引入用于动态成对像素关联学习的自适应关联（AA）损失，以及用于纠正错误伪标签的标签重分配（LR）损失，提升了性能。该方法在PASCAL VOC 2012上取得了最先进结果，在验证集上达到63.9 mIoU，在测试集上达到64.8 mIoU，优于现有单阶段方法，并与多阶段方法相当。

ABSTRACT

Semantic segmentation has been continuously investigated in the last ten years, and majority of the established technologies are based on supervised models. In recent years, image-level weakly supervised semantic segmentation (WSSS), including single- and multi-stage process, has attracted large attention due to data labeling efficiency. In this paper, we propose to embed affinity learning of multi-stage approaches in a single-stage model. To be specific, we introduce an adaptive affinity loss to thoroughly learn the local pairwise affinity. As such, a deep neural network is used to deliver comprehensive semantic information in the training phase, whilst improving the performance of the final prediction module. On the other hand, considering the existence of errors in the pseudo labels, we propose a novel label reassign loss to mitigate over-fitting. Extensive experiments are conducted on the PASCAL VOC 2012 dataset to evaluate the effectiveness of our proposed approach that outperforms other standard single-stage methods and achieves comparable performance against several multi-stage methods.

研究动机与目标

• 通过整合如关联学习和错误纠正等多阶段优势，提升单阶段弱监督语义分割（WSSS）的性能。
• 解决单阶段方法在处理噪声或错误伪标签时导致模型泛化能力下降的局限性。
• 通过端到端的标签优化，减少对初始伪标签中假阳性预测的过拟合。
• 仅使用图像级监督，实现与多阶段WSSS方法相当的性能。

提出的方法

• 提出一种自适应关联（AA）损失，通过可学习的自适应权重计算成对像素关系，而非固定置信度因子，从而改善语义传播。
• 采用标签重分配（LR）损失，基于浓度参数γ调节特征嵌入，聚焦于易出错、可能错误的样本。
• 使用统一的端到端训练框架，其中分类分支生成的伪掩码用于监督分割任务，且在训练过程中同时应用AA和LR损失。
• 利用深度网络的特征嵌入识别并重新分配误分类像素，减少对噪声初始预测的过拟合。
• 将AA损失与标准交叉熵损失结合，联合优化分割与关联学习。
• 通过T-SNE可视化展示标签重分配后特征嵌入聚类更清晰，表明语义分离性更好。

实验结果

研究问题

• RQ1 自适应关联学习是否能在不依赖固定置信度权重的情况下，提升单阶段WSSS中的语义传播？
• RQ2 可学习的标签重分配机制是否能减少图像级WSSS中对错误伪标签的过拟合？
• RQ3 通过伪标签的端到端优化，单阶段模型是否能实现与多阶段WSSS方法相当的性能？
• RQ4 LR损失中的浓度参数γ如何影响模型的鲁棒性与分割精度？

主要发现

• 所提方法在PASCAL VOC 2012验证集上达到63.9 mIoU，在测试集上达到64.8 mIoU，优于现有单阶段方法。
• 当LR损失中γ = 2时，模型在训练集和验证集上的mIoU均提升0.7%，表明聚焦于脆弱样本的有效性。
• 通过T-SNE可视化显示，LR损失减少了语义混淆，标签重分配后特征嵌入聚类更清晰。
• AA损失显著增强了语义传播，尤其在模糊区域表现更优，体现在对困难样本IoU的提升。
• 尽管为单阶段框架，该方法性能可与最先进的多阶段WSSS方法（如MCIS和NSROM）相媲美。
• 消融实验表明，AA和LR损失在性能提升中均独立且协同发挥作用。