[论文解读] Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation

Wataru Shimoda, ‪Keiji Yanai‬|arXiv (Cornell University)|Nov 4, 2019

Advanced Neural Network Applications参考文献 44被引用 14

一句话总结

本文提出了一种自监督差异检测（SSDD）模块，通过识别并去除用于将粗略激活图细化为精确分割掩码的映射函数（如CRF或迭代微调）中的噪声，从而提升弱监督语义分割的性能。通过预测输入掩码与输出掩码之间的差异，SSDD模块实现了对噪声的感知细化，在PASCAL VOC 2012验证集上达到64.9%的mIoU，在测试集上达到65.5%，在无需额外监督的情况下实现了弱监督设定下的新 SOTA 性能。

ABSTRACT

To minimize the annotation costs associated with the training of semantic segmentation models, researchers have extensively investigated weakly-supervised segmentation approaches. In the current weakly-supervised segmentation methods, the most widely adopted approach is based on visualization. However, the visualization results are not generally equal to semantic segmentation. Therefore, to perform accurate semantic segmentation under the weakly supervised condition, it is necessary to consider the mapping functions that convert the visualization results into semantic segmentation. For such mapping functions, the conditional random field and iterative re-training using the outputs of a segmentation model are usually used. However, these methods do not always guarantee improvements in accuracy; therefore, if we apply these mapping functions iteratively multiple times, eventually the accuracy will not improve or will decrease. In this paper, to make the most of such mapping functions, we assume that the results of the mapping function include noise, and we improve the accuracy by removing noise. To achieve our aim, we propose the self-supervised difference detection module, which estimates noise from the results of the mapping functions by predicting the difference between the segmentation masks before and after the mapping. We verified the effectiveness of the proposed method by performing experiments on the PASCAL Visual Object Classes 2012 dataset, and we achieved 64.9\% in the val set and 65.5\% in the test set. Both of the results become new state-of-the-art under the same setting of weakly supervised semantic segmentation.

研究动机与目标

• 解决由CRF或迭代微调等噪声映射函数引起的弱监督语义分割性能下降问题。
• 通过识别并过滤来自噪声监督的不可靠预测，提升弱监督分割的准确性。
• 开发一种自监督方法，利用输入与输出掩码之间的差异作为代理任务，指导无需像素级标注的鲁棒细化。
• 在弱监督分割流程的种子生成和端到端训练阶段，证明SSDD模块的有效性。

提出的方法

• SSDD模块被训练以预测经过映射函数（如CRF或模型推理）处理前后分割掩码之间的差异，将此差异视为自监督信号。
• 该方法假设映射函数会引入噪声，而差异图可作为识别错误预测的代理。
• 模型学习区分差异图中可预测（可靠）与不可预测（噪声）的区域，仅对可靠部分进行细化。
• SSDD模块被集成到两个阶段中：(1) 在种子生成阶段（如来自PSA）对CRF输出进行细化；(2) 在端到端训练阶段，使用全监督网络对预测结果进行细化。
• 差异预测通过一个轻量级卷积网络完成，该网络以输入掩码和输出掩码为输入，预测两者之间的变化。
• 最终的分割掩码通过将预测的差异应用到原始掩码上获得，从而有效去除映射函数输出中的噪声。

实验结果

研究问题

• RQ1 自监督差异检测能否通过识别并去除映射函数中的噪声，提升弱监督语义分割的准确性？
• RQ2 所提出的SSDD模块在细化静态（种子生成）和动态（训练循环）分割掩码方面效果如何？
• RQ3 该方法是否优于依赖迭代细化或CRF但无额外监督的现有弱监督方法？
• RQ4 SSDD模块能否在不使用额外数据或标注的情况下实现SOTA性能？

主要发现

• 所提出的SSDD模块在PASCAL VOC 2012验证集上达到64.9%的mIoU，在测试集上达到65.5%，在仅使用图像级监督的弱监督语义分割设置下，创下新的SOTA纪录。
• 该方法优于先前的SOTA方法，如PSA（测试mIoU为63.7%）和IRN（测试mIoU为64.8%），表现出显著提升。
• 即使未使用额外数据（如显著性图、网络图像或实例级标注），SSDD方法仍超越了使用此类辅助监督的方法，包括AISC（验证集64.5%）和Shen等人（测试集63.9%）。
• 在种子生成和训练阶段均集成SSDD带来了持续的性能增益，证实了其多功能性和鲁棒性。
• 消融研究证实，自监督差异检测有效降低了噪声，模型能够学习识别并纠正来自CRF和迭代细化的不可靠预测。