[论文解读] Mask-based Data Augmentation for Semi-supervised Semantic Segmentation

Ying Chen, Xu Ouyang+2 more|arXiv (Cornell University)|Jan 25, 2021

Advanced Neural Network Applications参考文献 9被引用 6

一句话总结

本文提出 ComplexMix，一种新颖的基于掩码的数据增强方法，用于半监督语义分割，通过从无标签数据生成复杂且语义正确的增强样本，提升性能。该方法将分割图划分为方形区域，对每个区域预测类别标签，并使用掩码将选定类别粘贴到混合图像中，从而在增强复杂性与语义正确性之间取得平衡，在标签数据有限的情况下，于 Cityscapes 数据集上实现了最先进（SOTA）的 mIoU 性能。

ABSTRACT

Semantic segmentation using convolutional neural networks (CNN) is a crucial component in image analysis. Training a CNN to perform semantic segmentation requires a large amount of labeled data, where the production of such labeled data is both costly and labor intensive. Semi-supervised learning algorithms address this issue by utilizing unlabeled data and so reduce the amount of labeled data needed for training. In particular, data augmentation techniques such as CutMix and ClassMix generate additional training data from existing labeled data. In this paper we propose a new approach for data augmentation, termed ComplexMix, which incorporates aspects of CutMix and ClassMix with improved performance. The proposed approach has the ability to control the complexity of the augmented data while attempting to be semantically-correct and address the tradeoff between complexity and correctness. The proposed ComplexMix approach is evaluated on a standard dataset for semantic segmentation and compared to other state-of-the-art techniques. Experimental results show that our method yields improvement over state-of-the-art methods on standard datasets for semantic image segmentation.

研究动机与目标

• 为解决语义分割任务中大规模标注数据集获取成本高、耗时长的问题。
• 通过先进的数据增强技术，有效利用无标签数据，提升半监督学习性能。
• 在生成的训练样本中，平衡增强复杂性与语义正确性之间的权衡。
• 开发一种增强策略，以提升语义分割中的一致性正则化效果。

提出的方法

• 该方法将无标签图像的分割图划分为大小相等的方形区域，以定位用于增强的区域。
• 对每个方形区域，模型预测语义类别标签，并从中选择一半的预测类别进行混合。
• 基于选定的类别生成掩码，将这些类别粘贴到混合图像中，以保留语义边界。
• 该方法采用均值教师（mean teacher）框架，使学生模型在混合图像上的预测与教师模型保持一致。
• 损失函数包括在标注数据上的监督交叉熵损失，以及在使用伪标签的混合无标签样本上的无监督交叉熵损失。
• 教师模型通过学生模型权重的指数移动平均进行更新，从而增强一致性正则化效果。

实验结果

研究问题

• RQ1 一种能控制复杂性同时保持语义正确性的数据增强策略，是否能提升半监督语义分割性能？
• RQ2 基于掩码的增强方法，结合区域级类别预测，与随机混合或简单边界感知混合相比，表现如何？
• RQ3 在低标签数据设置下，ComplexMix 是否优于现有的最先进方法？
• RQ4 控制增强复杂性在多大程度上影响模型泛化能力与预测一致性之间的权衡？

主要发现

• ComplexMix 在 Cityscapes 数据集上实现了最先进性能，优于现有的半监督语义分割方法。
• 该方法在所有测试的标签数据比例下均提升了 mIoU，且在低监督水平下相较于基线方法表现出更显著的增益。
• 采用区域级类别预测与选择性类别粘贴策略，生成的增强样本在语义一致性方面优于随机或均匀混合方法。
• 消融实验表明，初始划分中控制方形数量能有效平衡复杂性与正确性，从而提升模型鲁棒性。
• 结合均值教师框架与 ComplexMix 可实现稳定且一致的性能提升，证明了结构化增强与一致性正则化结合的有效性。