[论文解读] ISIM: Iterative Self-Improved Model for Weakly Supervised Segmentation

Cenk Bircanoğlu, Nafiz Arıca|arXiv (Cornell University)|Nov 22, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出 ISIM，一种用于弱监督语义分割的迭代自提升编码器-解码器模型，通过使用基于密集CRF生成的伪分割标签来增强类激活图（CAMs）。通过联合优化分类与分割任务，并采用改进的交叉熵损失函数，ISIM 在 Pascal VOC 2012 上实现了最先进性能，相较于仅使用图像级标注的先前方法，mIoU 提升了 2.5%。

ABSTRACT

Weakly Supervised Semantic Segmentation (WSSS) is a challenging task aiming to learn the segmentation labels from class-level labels. In the literature, exploiting the information obtained from Class Activation Maps (CAMs) is widely used for WSSS studies. However, as CAMs are obtained from a classification network, they are interested in the most discriminative parts of the objects, producing non-complete prior information for segmentation tasks. In this study, to obtain more coherent CAMs with segmentation labels, we propose a framework that employs an iterative approach in a modified encoder-decoder-based segmentation model, which simultaneously supports classification and segmentation tasks. As no ground-truth segmentation labels are given, the same model also generates the pseudo-segmentation labels with the help of dense Conditional Random Fields (dCRF). As a result, the proposed framework becomes an iterative self-improved model. The experiments performed with DeepLabv3 and UNet models show a significant gain on the Pascal VOC12 dataset, and the DeepLabv3 application increases the current state-of-the-art metric by %2.5. The implementation associated with the experiments can be found: https://github.com/cenkbircanoglu/isim.

研究动机与目标

• 为解决弱监督语义分割（WSSS）中的监督差距问题，即类别级标签缺乏空间细节。
• 通过利用图像隐含内容，提升类激活图（CAMs）与真实分割结果的一致性。
• 开发一种迭代的、自提升的框架，通过交替优化伪分割标签和增强CAMs，而无需像素级标注。
• 仅使用图像级监督和标准编码器-解码器架构，在 Pascal VOC 2012 上实现最先进性能。

提出的方法

• 该框架采用改进的编码器-解码器分割模型，仅使用图像级标签联合优化分类与分割任务。
• 通过密集条件随机场（dCRF）从CAMs生成伪分割掩码，以提升目标区域定位与完整性的精度。
• 在训练过程中应用像素级损失，通过将CAMs与伪分割标签对齐，更准确地传播CAMs。
• 通过端到端训练与反向传播，迭代提升CAMs与分割预测结果。
• 通过在单个网络中共享分类头与分割头之间的特征，支持多任务学习。
• 该方法具有良好的泛化能力，可应用于多种主干网络架构，如 ResNet、ResNeSt 和 DeepLabv2/v3。

实验结果

研究问题

• RQ1 在弱监督语义分割中，伪分割标签的迭代优化能否提升类激活图（CAMs）的质量？
• RQ2 基于密集CRF的后处理在无真实掩码的情况下，能否有效增强基于CAM的分割性能？
• RQ3 自提升的多任务学习框架在多大程度上可缩小全监督与弱监督语义分割之间的性能差距？
• RQ4 所提出的迭代训练方案是否在仅使用图像级标注的情况下，优于 Pascal VOC 2012 上的现有最先进方法？

主要发现

• ISIM 框架在 Pascal VOC 2012 测试集上，使用 DeepLabv3 与 ResNeSt-200 主干网络，实现了 72.94% 的平均交并比（mIoU）。
• 当使用 ResNet-101 作为主干网络时，ISIM 在测试集上达到 70.38% 的 mIoU，优于先前使用额外显著图数据的方法。
• 在使用相同主干网络（ResNet-101）且仅依赖图像级监督的情况下，该方法相较先前最先进方法将 mIoU 提升了 2.5%。
• 消融实验表明，结合 dCRF 的迭代优化与像素级损失可显著提升 CAM 质量与分割精度。
• 即使不依赖额外数据或显著图，该框架仍表现出强大性能，优于相同设置下的 EPS 与 SPML 等方法。
• 所提方法在不同主干网络架构（包括 ResNet-50、ResNet-101 和 ResNeSt-200）上均表现出良好的通用性与有效性。