[论文解读] A Three-Stage Self-Training Framework for Semi-Supervised Semantic Segmentation

Rihuan Ke, Angelica I. Avilés-Rivero+3 more|arXiv (Cornell University)|Dec 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用 7

一句话总结

本文提出了一种用于半监督语义分割的三阶段自训练框架，通过多任务学习和一致性正则化提升伪掩码质量。通过使用共享主干网络和特定任务的分支，迭代地在未标注数据上优化预测，该方法在仅使用少量标注数据的情况下实现了最先进性能，显著降低了对昂贵像素级标注的依赖。

ABSTRACT

Semantic segmentation has been widely investigated in the community, in which the state of the art techniques are based on supervised models. Those models have reported unprecedented performance at the cost of requiring a large set of high quality segmentation masks. To obtain such annotations is highly expensive and time consuming, in particular, in semantic segmentation where pixel-level annotations are required. In this work, we address this problem by proposing a holistic solution framed as a three-stage self-training framework for semi-supervised semantic segmentation. The key idea of our technique is the extraction of the pseudo-masks statistical information to decrease uncertainty in the predicted probability whilst enforcing segmentation consistency in a multi-task fashion. We achieve this through a three-stage solution. Firstly, we train a segmentation network to produce rough pseudo-masks which predicted probability is highly uncertain. Secondly, we then decrease the uncertainty of the pseudo-masks using a multi-task model that enforces consistency whilst exploiting the rich statistical information of the data. We compare our approach with existing methods for semi-supervised semantic segmentation and demonstrate its state-of-the-art performance with extensive experiments.

研究动机与目标

• 通过利用少量标注数据和大量未标注数据，解决语义分割中像素级标注成本高且稀缺的问题。
• 通过整体性的多任务学习方法，减少从未标注数据生成的伪掩码中的不确定性。
• 通过强制预测间的一致性并利用未标注数据中的统计模式，在低数据场景下提升分割性能。
• 通过在统一训练框架中整合伪掩码优化与分割一致性，超越现有半监督方法。

提出的方法

• 第一阶段在小规模标注数据集上训练分割网络，为未标注图像生成初始的粗糙伪掩码。
• 第二阶段采用多任务模型，其中分割任务通过一致性损失进行正则化，同时引入一个独立的辅助任务来建模伪掩码统计特性，以提升预测置信度。
• 第二阶段的辅助任务使用从conv4层开始共享的主干网络，以及用于伪掩码统计特性的独立分支，从而在不过度拟合到噪声预测的情况下降低不确定性。
• 第三阶段使用第二阶段生成的优化伪掩码和原始标注数据重新训练分割网络，最终网络与前期阶段共享权重，以保持一致性。
• 该框架在所有阶段均使用共享编码器（基于ResNet-50），并为分割和伪掩码统计特性分别设置特定任务的头，最大限度减少额外参数。
• 通过数据增强输入并在不同变换下强制同一图像的预测保持一致，应用一致性正则化于训练过程中。

实验结果

研究问题

• RQ1 三阶段自训练框架是否能提升半监督语义分割中的伪掩码质量和分割性能？
• RQ2 建模伪掩码统计特性的多任务学习如何增强预测一致性并减少不确定性？
• RQ3 一致性正则化与共享特征学习在最小标注数据条件下能将性能提升到何种程度？
• RQ4 辅助任务在不直接监督分割预测的情况下，对优化伪掩码的贡献是什么？

主要发现

• 所提框架在Pascal VOC和Cityscapes基准上，在半监督设置下使用极少标注数据时，实现了最先进性能。
• 消融实验确认多任务组件显著提升了性能，证明了联合学习分割与伪掩码统计特性的价值。
• 通过迭代优化，该方法降低了伪掩码中的预测不确定性，使后期阶段的伪标签更加可靠。
• 与标准模型相比，该框架的参数增加量极小，表明即使在多任务训练下仍具有高效性。
• 在数据增强之间应用一致性正则化，使未标注数据的预测更加鲁棒和泛化能力强。