[论文解读] Conflict-Based Cross-View Consistency for Semi-Supervised Semantic Segmentation

Zicheng Wang, Zhen Zhao+4 more|arXiv (Cornell University)|Mar 2, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种新型半监督语义分割方法——基于冲突的跨视角一致性（CCVC），通过双分支框架增强协同训练。该方法引入了跨视角一致性（CVC），并采用特征差异损失以防止子网络崩溃；同时提出基于冲突的伪标签（CPL），通过利用预测冲突来稳定训练，在Pascal VOC 2012数据集1/4标签划分下实现了最先进性能。

ABSTRACT

Semi-supervised semantic segmentation (SSS) has recently gained increasing research interest as it can reduce the requirement for large-scale fully-annotated training data. The current methods often suffer from the confirmation bias from the pseudo-labelling process, which can be alleviated by the co-training framework. The current co-training-based SSS methods rely on hand-crafted perturbations to prevent the different sub-nets from collapsing into each other, but these artificial perturbations cannot lead to the optimal solution. In this work, we propose a new conflict-based cross-view consistency (CCVC) method based on a two-branch co-training framework which aims at enforcing the two sub-nets to learn informative features from irrelevant views. In particular, we first propose a new cross-view consistency (CVC) strategy that encourages the two sub-nets to learn distinct features from the same input by introducing a feature discrepancy loss, while these distinct features are expected to generate consistent prediction scores of the input. The CVC strategy helps to prevent the two sub-nets from stepping into the collapse. In addition, we further propose a conflict-based pseudo-labelling (CPL) method to guarantee the model will learn more useful information from conflicting predictions, which will lead to a stable training process. We validate our new CCVC approach on the SSS benchmark datasets where our method achieves new state-of-the-art performance. Our code is available at https://github.com/xiaoyao3302/CCVC.

研究动机与目标

• 解决由伪标签和协同训练框架中模型崩溃引起的半监督语义分割中的确认偏误问题。
• 通过强制子网络从同一输入的不同、非冗余视角中学习，提升模型泛化能力。
• 通过基于冲突的伪标签策略利用不一致预测，提升训练稳定性。
• 减少对人工设计数据增强的依赖，这些增强方法可能无法保证特征多样性。
• 在极少完全标注数据下实现最先进性能。

提出的方法

• 引入跨视角一致性（CVC），并采用特征差异损失，以最小化两个子网络提取特征之间的相似性，促进从无关视角中学习。
• 采用交叉伪标签机制，在子网络之间传递知识，提升预测一致性与模型感知能力。
• 提出基于冲突的伪标签（CPL），利用子网络间高分歧预测提供更强监督，增强训练稳定性。
• 使用加权一致性损失（$\omega_c$）平衡来自冲突预测的自监督信号，防止模型过度拟合于有偏的伪标签。
• 在Pascal VOC 2012上，基于DeepLabv3+与ResNet-101作为主干网络的双分支协同训练框架中应用该方法。
• 训练模型40个周期，并通过超参数分析优化一致性与鲁棒性之间的权衡。

实验结果

研究问题

• RQ1 在协同训练为基础的半监督语义分割中，强制子网络间特征差异是否能有效防止崩溃？
• RQ2 通过专用伪标签策略利用冲突预测，是否能提升训练稳定性和性能？
• RQ3 与标准一致性正则化或CCR方法相比，基于冲突的方法是否能更有效地减少确认偏误？
• RQ4 一致性损失的权重如何影响模型从冲突预测中泛化的能力？
• RQ5 在低监督设置（如1/4标签划分）下，所提方法在mIoU指标上的提升程度如何？

主要发现

• 所提CCVC方法在Pascal VOC 2012数据集1/4标签划分下达到74.0%的平均交并比（mIoU），创下新最先进纪录。
• CVC组件有效减少确认偏误，表现为相比交叉一致性正则化（CCR）方法，错误但高置信的预测比例更低。
• 基于冲突的伪标签（CPL）方法显著提升训练稳定性，当$\omega_c = 2.0$时模型性能达到峰值，mIoU达74.0%。
• 可视化结果表明，黄色框内区域的冲突预测在训练过程中逐渐趋于一致，证实CPL在对齐子网络预测方面的有效性。
• CVC方法在mIoU和可靠性方面均优于监督基线模型与CCR方法，尽管CCR生成更多高置信预测，但这些预测常为错误。
• 该方法能成功分割如后轮自行车轮、小型物体等难以区分的实例，而这些目标常被CCR与基线模型所遗漏。