[论文解读] DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting

Yongming Rao, Wenliang Zhao+6 more|arXiv (Cornell University)|Dec 2, 2021

Multimodal Machine Learning Applications参考文献 51被引用 37

一句话总结

DenseCLIP 将来自视觉-语言预训练（CLIP）的知识转移到密集预测，通过将图像-文本匹配转换为像素-文本匹配，并在训练期间应用上下文感知提示来优化语言嵌入。

ABSTRACT

Recent progress has shown that large-scale pre-training using contrastive image-text pairs can be a promising alternative for high-quality visual representation learning from natural language supervision. Benefiting from a broader source of supervision, this new paradigm exhibits impressive transferability to downstream classification tasks and datasets. However, the problem of transferring the knowledge learned from image-text pairs to more complex dense prediction tasks has barely been visited. In this work, we present a new framework for dense prediction by implicitly and explicitly leveraging the pre-trained knowledge from CLIP. Specifically, we convert the original image-text matching problem in CLIP to a pixel-text matching problem and use the pixel-text score maps to guide the learning of dense prediction models. By further using the contextual information from the image to prompt the language model, we are able to facilitate our model to better exploit the pre-trained knowledge. Our method is model-agnostic, which can be applied to arbitrary dense prediction systems and various pre-trained visual backbones including both CLIP models and ImageNet pre-trained models. Extensive experiments demonstrate the superior performance of our methods on semantic segmentation, object detection, and instance segmentation tasks. Code is available at https://github.com/raoyongming/DenseCLIP

研究动机与目标

• 弥合图像-文本预训练（CLIP）与密集预测任务（逐像素输出）之间的差距。
• 利用像素-文本匹配来引导密集预测器，并使用图像上下文为语言模型提供提示。
• 展示对不同骨干网络和密集预测框架的模型无关性和适用性。
• 展示在语义分割、目标检测和实例分割方面相对于 ImageNet 预训练基线和原生 CLIP 微调的改进。

提出的方法

• 使用来自 CLIP 图像编码器的语言兼容特征图以及 K 个类别的文本嵌入集合，将 CLIP 中的图像-文本匹配转换为像素-文本匹配。
• 通过对语言兼容特征 z 进行归一化并与文本特征 t 相乘来计算像素-文本得分图 s：s = z_hat t_hat^T。
• 将得分图作为辅助分割损失，并将其与图像特征拼接以引导密集预测器：x_4' = [x_4, s]。
• 通过（a）在模型前进行提示，利用视觉上下文生成更精炼的文本输入，以及（b）在文本编码器之后通过 Transformer 解码器进一步对文本特征进行提示来探索上下文感知提示；为提高效率和性能，默认选择后模型提示。
• 辅助损失：（i）在像素-文本得分图上的分割损失用于分割任务，（ii）在像素-文本图上使用二元交叉熵损失用于检测/实例分割。
• 通过冻结 CLIP 文本编码器并用语言先验引导骨干网络，展示对除 CLIP 图像编码器之外的骨干网络的兼容性（如 ImageNet 预训练的 ResNet、Swin）。

实验结果

研究问题

• RQ1 基于 CLIP 的语言先验能否提升密集预测任务，超越分类？
• RQ2 如何有效利用像素-文本对齐来引导密集预测模型？
• RQ3 上下文感知提示策略是否能改善视觉-语言知识向密集任务的迁移？
• RQ4 DenseCLIP 是否对骨干网络具有模型无关性，能否惠及非 CLIP 图像编码器？
• RQ5 应用 DenseCLIP 时，在语义分割、目标检测和实例分割方面的经验增益是多少？

主要发现

• DenseCLIP 在 ADE20K 上提升语义分割，在各骨干（如 ResNet-50、ResNet-101、ViT-B）上获得比 ImageNet 预训练基线更高的 mIoU。
• 在 ADE20K 上与 Semantic FPN 搭配时，相较于原生 CLIP 微调，DenseCLIP 获得显著提升（如 ResNet-50：43.5 比 39.6 mIoU SS）。
• 在 COCO 上，DenseCLIP 持续提升目标检测和实例分割，相较于 ImageNet 预训练和原生 CLIP 微调，在 RetinaNet 和 Mask R-CNN 的 AP 和 mask AP 上都获得增益（例如 RN50-DenseCLIP vs RN50-CLIP 的 AP）。
• 后模型提示（在文本编码器之后进行语言细化）在额外 FLOPs 更少的情况下提供更好的性能，相比前模型提示。
• DenseCLIP 还可以提升非 CLIP 骨干（ResNet、Swin），显示该框架的通用性。
• 单个 ResNet-101 与 DenseCLIP 和一个轻量解码器在 ADE20K 上实现具有竞争力的性能，并且相较于部分最先进方法计算量更低。