[论文解读] CLIP-ReID: Exploiting Vision-Language Model for Image Re-Identification without Concrete Text Labels

Siyuan Li, Sun Li+1 more|arXiv (Cornell University)|Nov 25, 2022

Multimodal Machine Learning Applications被引用 9

一句话总结

本文提出 CLIP-ReID，一种两阶段方法，利用 CLIP 的视觉-语言预训练能力实现图像重识别（ReID），而无需具体的文本标签。通过为每个身份引入可学习的文本标记，并在微调图像编码器之前以对比方式优化这些标记，该方法在行人和车辆 ReID 基准上实现了最先进性能，mAP 提升最高达 2.4%。

ABSTRACT

Pre-trained vision-language models like CLIP have recently shown superior performances on various downstream tasks, including image classification and segmentation. However, in fine-grained image re-identification (ReID), the labels are indexes, lacking concrete text descriptions. Therefore, it remains to be determined how such models could be applied to these tasks. This paper first finds out that simply fine-tuning the visual model initialized by the image encoder in CLIP, has already obtained competitive performances in various ReID tasks. Then we propose a two-stage strategy to facilitate a better visual representation. The key idea is to fully exploit the cross-modal description ability in CLIP through a set of learnable text tokens for each ID and give them to the text encoder to form ambiguous descriptions. In the first training stage, image and text encoders from CLIP keep fixed, and only the text tokens are optimized from scratch by the contrastive loss computed within a batch. In the second stage, the ID-specific text tokens and their encoder become static, providing constraints for fine-tuning the image encoder. With the help of the designed loss in the downstream task, the image encoder is able to represent data as vectors in the feature embedding accurately. The effectiveness of the proposed strategy is validated on several datasets for the person or vehicle ReID tasks. Code is available at https://github.com/Syliz517/CLIP-ReID.

研究动机与目标

• 为解决将预训练的视觉-语言模型（如 CLIP）应用于图像重识别的问题，其中标签仅为身份索引，缺乏描述性文本。
• 探索在身份无具体文本描述的情况下，如何利用 CLIP 的跨模态理解能力进行 ReID。
• 提出一种方法，通过可学习标记生成模糊但与身份相关的文本描述，实现 ReID 中的有效特征学习。
• 在多个 ReID 数据集上，验证所提出的两阶段训练策略在 CNN 和视觉 Transformer 主干网络上的有效性。

提出的方法

• 为每个身份引入一组可学习的文本标记，形成模糊的文本描述，替代具体的标签。
• 在第一阶段，固定 CLIP 的图像和文本编码器，仅通过批次内的对比损失优化可学习文本标记。
• 在第二阶段，冻结优化后的文本标记和 CLIP 的文本编码器，利用其提供跨模态监督以微调图像编码器。
• 使用包含身份损失（$\mathcal{L}_{id}$）、三元组损失（$\mathcal{L}_{tri}$）和图像到文本对比损失（$\mathcal{L}_{i2tce}$）的联合损失函数，进一步优化图像编码器。
• 在基于 ViT 的模型中采用 SIE（空间增强提示）和 OLP（遮挡鲁棒提示）技术，以提升特征的鲁棒性和泛化能力。
• 支持 ResNet-50 和 ViT-B/16 主干网络，并对标记数量（M=4）、损失组件和提示工程进行了消融研究。

实验结果

研究问题

• RQ1 当身份无具体文本描述时，能否有效利用 CLIP 的视觉-语言预训练能力进行图像重识别？
• RQ2 两阶段训练策略（先优化可学习文本标记，再用其监督图像编码器微调）是否优于端到端联合优化？
• RQ3 与使用固定或基于提示的文本描述相比，使用模糊且与身份相关的可学习文本标记在 ReID 中表现如何？
• RQ4 为最大化 ReID 性能，可学习文本标记的最优配置（如数量 M）和损失组件组合是什么？
• RQ5 与标准 ReID 基线相比，该方法能否提升特征的判别性和鲁棒性？

主要发现

• 两阶段训练策略显著优于单阶段训练，在 ViT-B/16 主干下，MSMT17 数据集上 mAP 达 73.4%，Rank-1 达 88.7%，而单阶段方法仅为 68.9% mAP 和 85.9% Rank-1。
• 在图像到文本对比损失（$\mathcal{L}_{i2tce}$）中使用训练集中所有身份的特征，性能优于仅使用当前批次的特征，结合 $\mathcal{L}_{id}$、$\mathcal{L}_{tri}$ 和 $\mathcal{L}_{i2tce}$ 后 mAP 提升 2.4%。
• SIE-cls 与 OLP 技术的结合使 MSMT17 上的 mAP 提升 2.4%，Rank-1 提升 1.0%，证明其在提升特征质量方面的有效性。
• 将可学习文本标记数量（M）设为 4 时性能最佳，M=1 不足，M=8 则冗余。
• 该方法在多个行人和车辆 ReID 数据集上均达到最先进性能，基于 ViT 的模型在所有基准上均优于 ResNet-50 版本。
• 可视化结果表明，CLIP-ReID 关注更多整体身体区域，而基线模型则聚焦于局部、判别性区域。