[论文解读] n-CPS: Generalising Cross Pseudo Supervision to n Networks for Semi-Supervised Semantic Segmentation

Dominik Filipiak, Piotr Tempczyk+1 more|arXiv (Cornell University)|Dec 14, 2021

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

该论文提出 n-CPS，即交叉伪监督（CPS）的泛化方法，用于半监督语义分割，通过同时训练 n 个神经网络并结合相互一致性正则化与 one-hot 编码扰动，实现性能提升。在推理阶段集成全部 n 个网络，n-CPS 在 Pascal VOC 2012（1/16 至 1/2 监督设置）和 Cityscapes（1/16）上取得新的 SOTA 性能，且在结合 CutMix 时优于先前方法。

ABSTRACT

We present n-CPS - a generalisation of the recent state-of-the-art cross pseudo supervision (CPS) approach for the task of semi-supervised semantic segmentation. In n-CPS, there are n simultaneously trained subnetworks that learn from each other through one-hot encoding perturbation and consistency regularisation. We also show that ensembling techniques applied to subnetworks outputs can significantly improve the performance. To the best of our knowledge, n-CPS paired with CutMix outperforms CPS and sets the new state-of-the-art for Pascal VOC 2012 with (1/16, 1/8, 1/4, and 1/2 supervised regimes) and Cityscapes (1/16 supervised).

研究动机与目标

• 为解决在两网络 CPS 设置中推理阶段仅使用一个网络、另一网络在训练后被丢弃所导致的效率低下问题。
• 将 CPS 框架推广至两套以上网络，通过多网络训练提升一致性正则化与模型鲁棒性。
• 探究通过交叉伪监督训练的多个子网络进行集成，是否能获得优于单网络推理的性能。
• 在不同监督数据设置与数据集（包括 Pascal VOC 2012 和 Cityscapes）上评估 n-CPS 的有效性。
• 研究将 n-CPS 与数据增强技术（如 CutMix）结合是否能进一步提升性能。

提出的方法

• n-CPS 以共享架构但不同权重初始化的方式训练 n 个子网络，每个子网络对输入图像生成类别概率图。
• 通过最小化一个网络的预测与其它网络经 one-hot 编码扰动（pmax）后的预测之间的交叉熵损失，实现一致性正则化。
• CPS 损失计算为：每个网络的预测与其余所有网络扰动后预测之间的交叉熵损失的平均值。
• 监督损失使用标准交叉熵在标注数据上计算，而无标注数据用于计算一致性损失。
• 采用集成推理策略，通过投票方式融合所有 n 个网络的预测，以提升最终分割精度。
• 通过结合 CutMix 增强方法进一步提升性能，增强无标注数据上的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 通过交叉伪监督训练多于两个网络，是否能提升半监督语义分割的性能？
• RQ2 对多个经过相互一致性正则化训练的子网络进行预测集成，是否能获得优于单网络推理的精度？
• RQ3 在不同数据设置下，n-CPS 的性能如何随网络数量（n ≥ 3）增加而变化？
• RQ4 将 n-CPS 与 CutMix 增强结合，是否能进一步提升 Pascal VOC 2012 和 Cityscapes 等基准数据集上的性能？
• RQ5 在低监督设置下，n-CPS 与现有 SOTA 方法（如 CPS、Mean Teacher 和 ReCo）相比表现如何？

主要发现

• 在 1/16 监督数据设置下，n-CPS（n=3）结合 CutMix 在 Pascal VOC 2012 上达到新的 SOTA mIoU 79.2%。
• 在 Pascal VOC 2012 上，n-CPS 结合 CutMix 在 1/16 监督设置下相比先前 SOTA 方法 CPS 提升 1.2% mIoU。
• 在 Pascal VOC 2012 的 1/8、1/4 和 1/2 监督设置下，n-CPS 在所有 ResNet-50 和 ResNet-101 设置中均持续优于 CPS。
• 在 Cityscapes 上，1/16 监督数据设置下，n-CPS 结合 CutMix 达到新的 SOTA mIoU 73.8%，超越先前方法。
• 消融实验表明，多网络一致性正则化与集成推理均对性能提升有显著贡献。
• 该方法展现出强大的泛化能力，在所有测试数据设置与主干网络架构（ResNet-50 和 ResNet-101）下均保持一致的性能提升。