[论文解读] Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised Semantic Segmentation

Zhen Zhao, Lihe Yang+4 more|arXiv (Cornell University)|Dec 9, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出 AugSeg，一种简单而有效的半监督语义分割方法，通过在标准教师-学生框架内应用优化的数据增强策略，显著提升性能。通过采用高度随机的基于强度的增强和自适应标签注入增强，AugSeg 在 Pascal VOC 2012 和 Cityscapes 上实现了新的 SOTA 结果，且无需额外组件或复杂训练流程。

ABSTRACT

Recent studies on semi-supervised semantic segmentation (SSS) have seen fast progress. Despite their promising performance, current state-of-the-art methods tend to increasingly complex designs at the cost of introducing more network components and additional training procedures. Differently, in this work, we follow a standard teacher-student framework and propose AugSeg, a simple and clean approach that focuses mainly on data perturbations to boost the SSS performance. We argue that various data augmentations should be adjusted to better adapt to the semi-supervised scenarios instead of directly applying these techniques from supervised learning. Specifically, we adopt a simplified intensity-based augmentation that selects a random number of data transformations with uniformly sampling distortion strengths from a continuous space. Based on the estimated confidence of the model on different unlabeled samples, we also randomly inject labelled information to augment the unlabeled samples in an adaptive manner. Without bells and whistles, our simple AugSeg can readily achieve new state-of-the-art performance on SSS benchmarks under different partition protocols.

研究动机与目标

• 解决当前最先进的半监督语义分割（SSS）方法日益复杂的缺陷，这些方法依赖额外模块和训练流程。
• 通过为半监督设置量身定制的简化但有效的数据增强策略，提升 SSS 性能。
• 在保持或超越 SOTA 性能的同时，减少对对比学习或辅助网络等复杂机制的依赖。
• 证明精心设计的数据扰动可超越复杂模型架构在 SSS 中的表现。

提出的方法

• 提出一种高度随机的基于强度的增强方法，通过从连续空间中采样扭曲强度，选择随机数量的变换，避免离散搜索空间。
• 引入一种自适应标签注入增强方法，将标签样本与置信度较低的未标注样本混合，以稳定训练并减少确认偏见。
• 采用标准的教师-学生框架并结合一致性正则化，仅在训练期间对未标注数据应用增强。
• 使用简化的增强流水线，无需特定分布的归一化或复杂的损失平衡，依赖随机化来缓解过拟合与过度扭曲。
• 联合应用两种增强方法：随机强度增强与自适应标签注入增强，无需额外网络头或校正模块。
• 采用标准交叉熵损失与一致性损失，未分类损失权重默认为 1.0，每样本最多应用 3 次强度增强。

实验结果

研究问题

• RQ1 一种简单、以增强为核心的策略是否能在半监督语义分割中超越复杂、多组件的 SOTA 方法？
• RQ2 在基于强度的增强设计中引入随机化，如何影响半监督学习中的泛化能力与鲁棒性？
• RQ3 在未标注样本中自适应注入标签信息，能在多大程度上提升模型置信度与分割精度？
• RQ4 简化增强设计是否能缓解现有 SSS 方法中常见的过拟合与过度扭曲问题？

主要发现

• AugSeg 在使用 366 张标注图像的 Pascal VOC 2012 上实现了新的 SOTA 性能，且在多种划分协议下显著优于先前 SOTA 方法。
• 仅使用所提出的随机强度增强，相较于监督基线提升 10.76%，相较于普通均值教师基线提升 3.35%（在 VOC 2012 上使用 366 张标签）。
• 自适应标签注入增强使性能相较监督基线提升 12.68%，相较均值教师基线提升 5.27%，证明其在稳定未标注数据训练方面的有效性。
• 联合使用两种增强方法可获得最佳性能，在使用 ResNet-50 和 366 张标签时，mIoU 达到 76.17%，超越先前 SOTA 结果。
• 该方法在不同超参数设置下均表现稳健：将选择的增强数量（k）从 0 增加到 3 时性能持续提升，无退化现象，与固定选择策略形成对比。
• 消融实验表明，无单一超参数设置始终优于其他设置，支持采用默认值（k=3，λu=1.0）以保证简洁性与一致性。