[论文解读] Leveraging Hidden Positives for Unsupervised Semantic Segmentation

Hyun Seok Seong, WonJun Moon+2 more|arXiv (Cornell University)|Mar 27, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种新颖的无监督语义分割方法，通过对比学习利用两类隐藏正样本——用于跨图块语义一致性的全局隐藏正样本（GHPs）和用于空间一致性的局部隐藏正样本（LHPs）。通过逐步整合特定任务的特征并将其梯度传播至语义相似的邻近图块，该方法在 COCO-stuff、Cityscapes 和 Potsdam-3 上实现了最先进性能。

ABSTRACT

Dramatic demand for manpower to label pixel-level annotations triggered the advent of unsupervised semantic segmentation. Although the recent work employing the vision transformer (ViT) backbone shows exceptional performance, there is still a lack of consideration for task-specific training guidance and local semantic consistency. To tackle these issues, we leverage contrastive learning by excavating hidden positives to learn rich semantic relationships and ensure semantic consistency in local regions. Specifically, we first discover two types of global hidden positives, task-agnostic and task-specific ones for each anchor based on the feature similarities defined by a fixed pre-trained backbone and a segmentation head-in-training, respectively. A gradual increase in the contribution of the latter induces the model to capture task-specific semantic features. In addition, we introduce a gradient propagation strategy to learn semantic consistency between adjacent patches, under the inherent premise that nearby patches are highly likely to possess the same semantics. Specifically, we add the loss propagating to local hidden positives, semantically similar nearby patches, in proportion to the predefined similarity scores. With these training schemes, our proposed method achieves new state-of-the-art (SOTA) results in COCO-stuff, Cityscapes, and Potsdam-3 datasets. Our code is available at: https://github.com/hynnsk/HP.

研究动机与目标

• 解决无监督语义分割中缺乏特定任务指导和局部语义一致性的局限。
• 克服先前基于对比学习的方法在固定主干网络和依赖数据增强方面的限制。
• 通过在训练过程中引入既与任务无关又与任务相关的特征参考，提升模型泛化能力。
• 基于注意力分数，将损失梯度传播至语义相似的相邻图块（即局部隐藏正样本，LHPs），以强制实现局部一致性。
• 通过利用特征空间中固有的语义关系，无需像素级标注，实现最先进性能。

提出的方法

• 定义两类全局隐藏正样本（GHPs）：来自固定预训练 ViT 主干网络的与任务无关的 GHPs，以及来自训练中分割头的与任务相关的 GHPs。
• 对每个锚点使用数据驱动的标准，从两个参考池中选择语义相似的图块，确保正样本收集的可靠性。
• 在训练过程中逐步增加与任务相关的 GHPs 的贡献，以引导模型聚焦于与分割相关的特征。
• 引入一种梯度传播策略，根据注意力分数按比例将损失梯度传递至邻近图块（即局部隐藏正样本，LHPs）。
• 利用相邻图块很可能共享相同语义标签的内在假设，以强制实现局部一致性。
• 通过同时使用 GHPs 和 LHPs 进行对比学习，优化特征表示，且无需任何像素级监督。

Figure 1 : Assuming a mini-batch comprising two images shown in (a), we describe two types of hidden positives, to leverage for contrastive learning. (a) With two types of hidden positives introduced in (b) and (c), we provide an example of how our training scheme provides more precise and consisten

实验结果

研究问题

• RQ1 在无真实标签的情况下，如何在无监督语义分割中逐步学习到与特定任务相关的语义特征？
• RQ2 从预训练特征和训练阶段特征中提取的全局隐藏正样本，在多大程度上能提升语义表征学习？
• RQ3 将梯度传播至语义相似的邻近图块，能否有效增强局部一致性和分割质量？
• RQ4 在标准基准上，该方法在 mIoU 和准确率方面与现有 SOTA 方法相比表现如何？
• RQ5 该方法对超参数（如参考池大小和温度缩放）的选择有多鲁棒？

主要发现

• 所提方法在 COCO-stuff 上实现最先进性能，mIoU 达 41.4，准确率为 75.1，优于先前方法。
• 在 Cityscapes 上，该方法实现 mIoU 为 39.1，准确率为 74.1，优于 DINO + GradProp 及其他基线方法。
• 在 Potsdam-3 上，该方法实现 mIoU 为 41.3，准确率为 74.9，展现出在多样化数据集上的强大泛化能力。
• 消融实验表明，该方法对超参数变化具有鲁棒性，在不同参考池大小和温度值下性能下降极小。
• 可视化结果证实，GHP 选择过程能捕捉到细粒度的语义差异（如人物身体部位），超越粗粒度标注。
• 梯度传播策略有效强化了局部一致性，表现为语义相似的相邻图块注意力分数显著高于不相似图块。

Figure 2 : Illustration of the global hidden positive (GHP) selection process. Our GHP can be divided into two sub-sets: task-agnostic and task-specific. An index set of task-agnostic GHP ${P}_{i}^{\text{ag}}$ comprises the indices of positives discovered within the task-agnostic reference pool $Q^{