[论文解读] Improving Semantic Segmentation via Self-Training

Yi Zhu, Zhongyue Zhang+7 more|arXiv (Cornell University)|Apr 30, 2020

Advanced Neural Network Applications参考文献 80被引用 34

一句话总结

本文提出一种用于语义分割的自训练框架，使用教师模型在未标注数据上生成伪标签，并用真实标签与伪标签混合来训练学生模型，在监督显著减少的情况下实现了最先进的结果，并且训练时间表快速。

ABSTRACT

Deep learning usually achieves the best results with complete supervision. In the case of semantic segmentation, this means that large amounts of pixelwise annotations are required to learn accurate models. In this paper, we show that we can obtain state-of-the-art results using a semi-supervised approach, specifically a self-training paradigm. We first train a teacher model on labeled data, and then generate pseudo labels on a large set of unlabeled data. Our robust training framework can digest human-annotated and pseudo labels jointly and achieve top performances on Cityscapes, CamVid and KITTI datasets while requiring significantly less supervision. We also demonstrate the effectiveness of self-training on a challenging cross-domain generalization task, outperforming conventional finetuning method by a large margin. Lastly, to alleviate the computational burden caused by the large amount of pseudo labels, we propose a fast training schedule to accelerate the training of segmentation models by up to 2x without performance degradation.

研究动机与目标

• 通过利用未标注数据，减少对像素级精确标注的依赖以进行语义分割。
• 证明教师-学生自训练框架在多个驾驶场景数据集上可以提升性能。
• 通过质心采样解决伪标签中的类别不平衡和标签噪声。
• 开发一种快速的训练计划，以在不损失性能的前提下处理大规模扩展的伪标签数据集。
• 展示跨域泛化的好处，包括从目标域学习新类别。

提出的方法

• 在带标注数据上训练教师模型，以为未标注图像生成高质量伪标签。
• 在大规模未标注集合上生成伪标签，并将它们与真实标签结合以训练学生模型。
• 使用质心采样确保伪标签的类别平衡曝光并缓解噪声。
• 提出快速的训练计划，通过交替裁剪大小来在不牺牲精度的情况下加速训练（coarse2fine、fine2coarse及其变体）。
• 通过对Cityscapes到Mapillary的自训练实现跨域泛化，同时在目标域有限标注下进行应用。

实验结果

研究问题

• RQ1 自训练结合伪标签是否能在驾驶场景数据集上超过完全监督基线的性能？
• RQ2 质心采样是否在自训练设置中有效减轻标签噪声与类别不平衡？
• RQ3 快速训练计划是否能在显著减少大规模伪标签数据集的训练时间的同时保持准确性？
• RQ4 在转移到具有新类别且标注有限的目标域时，自训练是否能改善跨域泛化？

主要发现

模型	真实标签	伪标签	mIoU (%)
Teacher	3K Cityscapes fine annotations	-	78.1
Student	1.5K real + 1.5K pseudo (Cityscapes coarse)	-	79.0
Student	1.5K real + 4.5K pseudo	-	79.3

• 在使用 Cityscapes 粗标签和 Mapillary 伪标签时，自训练将 Cityscapes 验证集的 mIoU 从 78.1 提升到 79.0。
• 使用 1.5K 实际标签和 1.5K 伪标签可达到 79.3% mIoU，随着伪标签数量增加（例如在消融中达到 79.7%、79.9%、80.0%）。
• 该方法在骨干网和架构上具有泛化能力，优于基线并能达到或超过在 Mapillary 数据上预训练的模型。
• 快速训练计划（coarse2fine+）在不损失精度的前提下，提供高达 1.7–1.8 倍的加速（相比 Cityscapes 验证集基线 80.0% mIoU）。
• 在跨域任务中，源域的伪标签加上有限目标域标注实现了具有新类别的竞争性结果，优于简单微调，且接近 Mapillary 预训练的性能。