[论文解读] CLIP-Driven Fine-grained Text-Image Person Re-identification

Shuanglin Yan, Neng Dong+2 more|arXiv (Cornell University)|Oct 19, 2022

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

该论文提出 CFine，一种基于 CLIP 的文本-图像行人重识别框架，无需特征嵌入即可挖掘细粒度的模态内判别性线索与模态间对应关系。通过引入多粒度全局特征学习、跨粒度特征精炼与细粒度对应发现机制，CFine 直接在原始模态空间中利用 CLIP 的多模态知识，在多个基准上实现了最先进性能。

ABSTRACT

TIReID aims to retrieve the image corresponding to the given text query from a pool of candidate images. Existing methods employ prior knowledge from single-modality pre-training to facilitate learning, but lack multi-modal correspondences. Besides, due to the substantial gap between modalities, existing methods embed the original modal features into the same latent space for cross-modal alignment. However, feature embedding may lead to intra-modal information distortion. Recently, CLIP has attracted extensive attention from researchers due to its powerful semantic concept learning capacity and rich multi-modal knowledge, which can help us solve the above problems. Accordingly, in the paper, we propose a CLIP-driven Fine-grained information excavation framework (CFine) to fully utilize the powerful knowledge of CLIP for TIReID. To transfer the multi-modal knowledge effectively, we perform fine-grained information excavation to mine intra-modal discriminative clues and inter-modal correspondences. Specifically, we first design a multi-grained global feature learning module to fully mine intra-modal discriminative local information, which can emphasize identity-related discriminative clues by enhancing the interactions between global image (text) and informative local patches (words). Secondly, cross-grained feature refinement (CFR) and fine-grained correspondence discovery (FCD) modules are proposed to establish the cross-grained and fine-grained interactions between modalities, which can filter out non-modality-shared image patches/words and mine cross-modal correspondences from coarse to fine. CFR and FCD are removed during inference to save computational costs. Note that the above process is performed in the original modality space without further feature embedding. Extensive experiments on multiple benchmarks demonstrate the superior performance of our method on TIReID.

研究动机与目标

• 解决现有文本-图像 ReID 方法依赖特征嵌入且易受模态内信息失真影响的局限性。
• 克服先前方法中单模态预训练主干网络缺乏多模态对应信息的问题。
• 利用 CLIP 丰富的多模态知识，提升行人重识别任务中的细粒度跨模态对齐能力。
• 证明特征嵌入并非 TIReID 所必需，通过直接在原始模态空间中操作实现。
• 开发一种框架，有效将 CLIP 的知识迁移至细粒度检索任务，且无需微调 CLIP 主干网络。

提出的方法

• 提出多粒度全局特征学习（MGF）模块，增强全局图像/文本与局部判别性图像块/词之间的交互，以提取多粒度全局特征。
• 引入跨粒度特征精炼（CFR），建立粗粒度跨模态交互（如图像-词、句子-图像块），并过滤非共享的局部信息。
• 设计细粒度对应发现（FCD）机制，通过 top-K 选择学习图像块与词之间的精确细粒度对齐。
• 所有操作均在原始模态空间中进行，无需将特征投影到共享潜在空间，避免模态内失真。
• 在 CFR 中采用可学习的相似性聚合策略，利用 softmax 生成的权重计算相似性的加权和，以突出关键线索。
• 推理阶段移除 CFR 和 FCD 模块，仅保留 MGF 与 CLIP 编码器，以降低计算开销，提升效率。

实验结果

研究问题

• RQ1 CLIP 的多模态知识是否可在无需特征嵌入的情况下有效迁移至文本-图像行人重识别任务？
• RQ2 去除特征嵌入是否能减少模态内信息失真，并提升细粒度检索的性能？
• RQ3 细粒度模态内与模态间对应关系挖掘是否能超越实例级表征，实现更优的跨模态对齐？
• RQ4 选择局部图像块与词的最优配置是什么，以建立准确的跨模态对应？
• RQ5 与使用特征嵌入的基线方法相比，所提框架在鲁棒性与泛化能力方面表现如何？

主要发现

• CFine 在三个主要 TIReID 基准（CUHK-PEDES、PRID-SDP 和 MSMT127）上均达到最先进性能。
• 在 CUHK-PEDES 上，CFine 实现 Rank-1 准确率为 69.57%，较基线 + CLIP 方法高出 0.5 个百分点。
• 消融实验表明，CFR 中提出的加权相似性聚合策略相比求和、平均与最大值聚合策略，性能提升 0.5%。
• 每词选择的最优正样本图像块数量为 Kp=3，因过高或过低的值均会导致噪声或过拟合，从而降低性能。
• 定性结果表明，CFine 通过有效挖掘包袋、鞋子、吉他等判别性局部属性，显著减少了对颜色线索的依赖。
• 即使在基线 + CLIP 失败的复杂或遮挡场景下，该框架仍能成功检索出正确身份。