[论文解读] Dense Semantic Contrast for Self-Supervised Visual Representation Learning

Xiaoni Li, Yu Zhou+6 more|arXiv (Cornell University)|Sep 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用 4

一句话总结

该论文提出Dense Semantic Contrast (DSC)，一种自监督视觉表征学习方法，通过利用图像内和图像间的语义关系，在像素级别建模语义类别决策边界。通过引入一种多粒度对比学习框架，联合优化实例、像素和语义层级的表征，DSC在目标检测和语义分割等下游密集预测任务中取得了最先进性能。

ABSTRACT

Self-supervised representation learning for visual pre-training has achieved remarkable success with sample (instance or pixel) discrimination and semantics discovery of instance, whereas there still exists a non-negligible gap between pre-trained model and downstream dense prediction tasks. Concretely, these downstream tasks require more accurate representation, in other words, the pixels from the same object must belong to a shared semantic category, which is lacking in the previous methods. In this work, we present Dense Semantic Contrast (DSC) for modeling semantic category decision boundaries at a dense level to meet the requirement of these tasks. Furthermore, we propose a dense cross-image semantic contrastive learning framework for multi-granularity representation learning. Specially, we explicitly explore the semantic structure of the dataset by mining relations among pixels from different perspectives. For intra-image relation modeling, we discover pixel neighbors from multiple views. And for inter-image relations, we enforce pixel representation from the same semantic class to be more similar than the representation from different classes in one mini-batch. Experimental results show that our DSC model outperforms state-of-the-art methods when transferring to downstream dense prediction tasks, including object detection, semantic segmentation, and instance segmentation. Code will be made available.

研究动机与目标

• 弥合自监督预训练与下游密集预测任务之间的差距，后者需要更精确、语义一致的表征。
• 克服现有实例级别和像素级别对比方法无法显式建模语义类别边界的局限性。
• 通过显式挖掘跨图像及图像内多视角下像素之间的语义关系，提升表征质量。
• 实现多粒度学习，整合低层（像素）、中层（实例）和高层（语义类别）的视觉理解。
• 通过对齐不同图像中同一语义类别像素的表征，增强特征的判别性，以提升密集预测性能。

提出的方法

• 提出一种密集的跨图像语义对比学习框架，强制在小批量内，来自同一语义类别的像素表征保持相似。
• 通过同一图像的多个增强视图发现像素邻居，建模图像内关系。
• 使用k近邻（K-NN）和原型挖掘（PM）识别跨图像的语义邻居，形成对比学习的正样本对。
• 将实例、像素和语义三种粒度整合到统一的训练目标中，联合优化局部与全局语义理解。
• 应用对比损失，对齐共享相同语义类别的像素表征，同时拉远不同类别之间的表征。
• 利用Grad-CAM可视化分析和比较特征注意力图，证明DSC相比基线方法具有更高的边界敏感性。

实验结果

研究问题

• RQ1 在像素级别显式建模语义类别边界，是否能提升自监督表征学习在密集预测任务中的性能？
• RQ2 引入多粒度表征学习（实例、像素和语义）对下游性能有何影响？
• RQ3 与仅使用实例级别或像素级别对比学习相比，挖掘图像间语义关系在多大程度上提升了特征判别性？
• RQ4 一种显式建模语义结构的对比框架，是否能优于仅依赖数据增强和实例判别方法的模型？
• RQ5 不同的语义邻居挖掘策略（K-NN与原型挖掘）对最终表征质量及收敛稳定性有何影响？

主要发现

• 当同时使用三种粒度时，DSC在PASCAL VOC目标检测和语义分割任务上达到最先进性能，mAP为57.1，mIoU为57.9。
• 消融实验表明，随着每种粒度的逐步引入，性能持续提升：仅实例（54.7 mAP）、像素+实例（56.4 mAP）、完整多粒度（57.1 mAP）。
• 采用原型挖掘的DSC模型（DSC-PM）性能优于基于K-NN的DSC-KM，在PASCAL VOC语义分割任务上mIoU达到57.9。
• Grad-CAM可视化结果证实，与MoCo-v2和DenseCL相比，DSC学习到了更具边界敏感性的特征，尤其在物体边缘区域表现更优。
• 仅使用像素级别或语义级别对比学习的模型无法收敛，表明多粒度学习对模型稳定性和性能至关重要。
• 定性比较显示，在PASCAL VOC数据集上，DSC能更有效地减少分割任务中像素类别的误分类，生成比MoCo-v2和DenseCL更准确、更一致的分割掩码。