[论文解读] Bootstrapping Semantic Segmentation with Regional Contrast

Shikun Liu, Shuaifeng Zhi+2 more|arXiv (Cornell University)|Apr 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用 69

一句话总结

ReCo 引入像素级对比损失与主动采样，在有监督和半监督设置下提升语义分割效果，实现更清晰的边界和更强的标签效率，尤其是在标签非常少的情况下。

ABSTRACT

We present ReCo, a contrastive learning framework designed at a regional level to assist learning in semantic segmentation. ReCo performs semi-supervised or supervised pixel-level contrastive learning on a sparse set of hard negative pixels, with minimal additional memory footprint. ReCo is easy to implement, being built on top of off-the-shelf segmentation networks, and consistently improves performance in both semi-supervised and supervised semantic segmentation methods, achieving smoother segmentation boundaries and faster convergence. The strongest effect is in semi-supervised learning with very few labels. With ReCo, we achieve high-quality semantic segmentation models, requiring only 5 examples of each semantic class. Code is available at https://github.com/lorenmt/reco.

研究动机与目标

• 通过利用区域对比和困难像素，推动降低语义分割的标注成本。
• 引入 ReCo，一种带自适应采样的像素级对比损失，用于学习类别关系。
• 证明 ReCo 在标准数据集上提升半监督和有监督设置的性能。
• 展示 ReCo 加速收敛并产生更清晰的对象边界。

提出的方法

• 在编码器上附加一个像素级表示头用于训练（推理时不使用）。
• 定义 ReCo 损失，使用归一化点积相似度使查询像素表示更接近其类别均值（正例），并远离其他类别（负例）。
• 将正例计算为批次内每个类别的均值表示；负例从其他类别中采样，使用可学习的类别关系图 G。
• 通过选择预测置信度低的像素（难查询）来进行查询的主动采样。
• 通过构建每个批次的成对类别关系图 G，基于类别关系的 softmax 对负样本进行采样，进行键的主动采样。
• 用组合损失训练：L_total = L_supervised + L_reco（在半监督设置下通过 Mean Teacher 还可添加 L_unsupervised）。

实验结果

研究问题

• RQ1 在标注有限的情况下，区域聚焦的对比损失是否能改善像素级分割？
• RQ2 对难查询和难负样本的自适应采样如何影响分割性能和训练效率？
• RQ3 ReCo 是否在不同骨干网络和数据集上持续提升半监督分割？
• RQ4 ReCo 对分割输出的边界清晰度和类别混淆有何影响？

主要发现

• ReCo 在 Cityscapes、Pascal VOC 和 SUN RGB-D 上对半监督和有监督分割方法均有持续性提升。
• 在标签极少的半监督设置中收益最大，在与 ClassMix 一起使用时，在某些情况下相对提升达到 5–10%。
• ReCo 产生更清晰的对象边界，更好地处理高频区域，特别是在类别边界附近和对小对象。
• 对难查询进行主动采样，尤其是通过批次级类别关系图引导的难负样本采样，带来显著收益，优于随机采样。
• ReCo 在半监督基准上达到具有竞争力或最先进的结果（例如在较少标注样本下达到 PseudoSeg 基准的同等或超越水平）。
• 该方法实现轻量（仅在训练阶段添加表示头），并且额外的内存占用极小。