[论文解读] GuidedMix-Net: Learning to Improve Pseudo Masks Using Labeled Images as Reference

Peng Tu, Yawen Huang+3 more|arXiv (Cornell University)|Jun 29, 2021

Advanced Vision and Imaging参考文献 47被引用 4

一句话总结

GuidedMix-Net 提出了一种新颖的半监督语义分割方法，通过特征对齐和互信息迁移，利用标注图像作为参考来提升伪掩码质量。通过从标注与未标注图像对中生成混合输入，并利用知识蒸馏优化特征，该方法在基准数据集上实现了最先进性能，相较于之前的方法将 mIoU 提升了 +7%。

ABSTRACT

Semi-supervised learning is a challenging problem which aims to construct a model by learning from a limited number of labeled examples. Numerous methods have been proposed to tackle this problem, with most focusing on utilizing the predictions of unlabeled instances consistency alone to regularize networks. However, treating labeled and unlabeled data separately often leads to the discarding of mass prior knowledge learned from the labeled examples, and failure to mine the feature interaction between the labeled and unlabeled image pairs. In this paper, we propose a novel method for semi-supervised semantic segmentation named GuidedMix-Net, by leveraging labeled information to guide the learning of unlabeled instances. Specifically, we first introduce a feature alignment objective between labeled and unlabeled data to capture potentially similar image pairs and then generate mixed inputs from them. The proposed mutual information transfer (MITrans), based on the cluster assumption, is shown to be a powerful knowledge module for further progressive refining features of unlabeled data in the mixed data space. To take advantage of the labeled examples and guide unlabeled data learning, we further propose a mask generation module to generate high-quality pseudo masks for the unlabeled data. Along with supervised learning for labeled data, the prediction of unlabeled data is jointly learned with the generated pseudo masks from the mixed data. Extensive experiments on PASCAL VOC 2012, PASCAL-Context and Cityscapes demonstrate the effectiveness of our GuidedMix-Net, which achieves competitive segmentation accuracy and significantly improves the mIoU by +7$\%$ compared to previous state-of-the-art approaches.

研究动机与目标

• 解决现有半监督方法将标注与未标注数据分开处理的局限性，未能充分利用标注样本中的先验知识。
• 克服基于一致性方法的次优性能，这些方法依赖于手动扰动，无法捕捉数据之间的结构与语义关系。
• 通过实现标注与未标注实例之间的特征级交互和知识迁移，提升未标注数据的伪掩码质量。
• 设计一个统一的训练框架，通过混合数据空间表示联合优化标注与未标注数据。
• 通过利用有限的标注数据和高质量的伪掩码，显著降低标注成本，实现具有竞争力的分割精度。

提出的方法

• 引入特征对齐目标，识别并对齐标注与未标注图像对之间的相似特征，从而选择相关参考样本。
• 通过组合对齐后的标注与未标注图像的特征和输入，构建混合输入，创建用于提升泛化能力的混合数据空间。
• 提出互信息迁移（MITrans），一种基于聚类假设的知识蒸馏模块，通过标注知识逐步优化未标注特征。
• 设计一个掩码生成模块，利用混合数据空间生成高质量的未标注数据伪掩码，并最小化与标注掩码之间的分布偏移。
• 端到端训练模型，对标注数据使用监督损失，对未标注样本使用原始输入与混合输入预测之间的一致性损失。
• 在推理阶段应用多尺度测试和翻转增强，进一步提升性能，且无需额外标注数据。

实验结果

研究问题

• RQ1 标注图像能否被有效用作参考，以提升半监督语义分割中未标注数据的伪掩码质量？
• RQ2 如何将标注数据中的结构与语义信息有效传递至未标注数据，以增强特征表示和分割精度？
• RQ3 标注与未标注数据之间的互信息迁移能否在标准一致性正则化之外，进一步提升模型鲁棒性与泛化能力？
• RQ4 联合优化标注与未标注数据的统一训练目标，在多大程度上优于将两者分开处理的方法？
• RQ5 当仅使用少量标注数据时，所提方法与全监督模型相比表现如何？

主要发现

• 在半监督设置下，GuidedMix-Net 在 PASCAL VOC 2012、PASCAL-Context 和 Cityscapes 上相较于之前最先进方法实现了 +7% 的 mIoU 提升。
• 在仅使用 1/8 标注数据的 PASCAL VOC 2012 上，GuidedMix-Net 达到 75.2 mIoU，优于在完整数据集上训练的全监督 FCN（69.9 mIoU）。
• 在使用 1/2 标注数据时，GuidedMix-Net 达到 77.1 mIoU，接近在相同划分下全监督 DeepLabV3+ 的性能（78.6 mIoU）。
• 应用多尺度测试与翻转增强后，GuidedMix-Net 在 1/2 标注数据下的 mIoU 提升至 78.2，与仅使用一半标注数据的 DeepLabV3+（78.6 mIoU）极为接近。
• 在 PASCAL-Context 上，GuidedMix-Net 在 1/8 和 1/4 标注数据下分别实现了 14.2% 和 10.3% 的 mIoU 提升，表明其在复杂、开放词汇场景中具有强大的泛化能力。
• 可视化对比显示，与基于一致性的基线方法（如 CCT）相比，GuidedMix-Net 生成的伪掩码在轮廓和物体边界预测方面更加准确、细节更丰富。