[论文解读] CLIP for All Things Zero-Shot Sketch-Based Image Retrieval, Fine-Grained or Not

Aneeshan Sain, Ayan Kumar Bhunia+4 more|arXiv (Cornell University)|Mar 23, 2023

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

本文提出了一种新颖的基于提示的CLIP适配方法，用于零样本草图图像检索（ZS-SBIR），在类别级和细粒度ZS-SBIR任务上均取得了当前最优性能。通过引入草图专用视觉提示、一种用于统一跨类别草图-照片特征距离的正则化损失，以及一种用于结构对应关系的块洗牌技术，该方法在先前SOTA基础上分别实现了24.8%和26.9%的准确率提升。

ABSTRACT

In this paper, we leverage CLIP for zero-shot sketch based image retrieval (ZS-SBIR). We are largely inspired by recent advances on foundation models and the unparalleled generalisation ability they seem to offer, but for the first time tailor it to benefit the sketch community. We put forward novel designs on how best to achieve this synergy, for both the category setting and the fine-grained setting ("all"). At the very core of our solution is a prompt learning setup. First we show just via factoring in sketch-specific prompts, we already have a category-level ZS-SBIR system that overshoots all prior arts, by a large margin (24.8%) - a great testimony on studying the CLIP and ZS-SBIR synergy. Moving onto the fine-grained setup is however trickier, and requires a deeper dive into this synergy. For that, we come up with two specific designs to tackle the fine-grained matching nature of the problem: (i) an additional regularisation loss to ensure the relative separation between sketches and photos is uniform across categories, which is not the case for the gold standard standalone triplet loss, and (ii) a clever patch shuffling technique to help establishing instance-level structural correspondences between sketch-photo pairs. With these designs, we again observe significant performance gains in the region of 26.9% over previous state-of-the-art. The take-home message, if any, is the proposed CLIP and prompt learning paradigm carries great promise in tackling other sketch-related tasks (not limited to ZS-SBIR) where data scarcity remains a great challenge. Project page: https://aneeshan95.github.io/Sketch_LVM/

研究动机与目标

• 通过利用CLIP的零样本泛化能力，解决草图图像检索中的数据稀缺问题。
• 在类别级和细粒度设置下，利用CLIP实现有效的零样本草图图像检索。
• 设计一种提示学习框架，在保留CLIP泛化能力的同时，实现其向草图-照片对齐的适配。
• 克服细粒度ZS-SBIR中的挑战，包括非均匀的特征距离以及实例级结构对应关系的需求。
• 展示像CLIP这样的基础模型在低资源草图相关视觉任务中的广泛潜力。

提出的方法

• 在CLIP的图像编码器中注入模态特定的视觉提示（草图和照片），通过三元组损失进行训练，同时保持CLIP权重冻结。
• 提出一种基于类别间相对草图-照片距离分布KL散度的新型正则化损失，以强制实现特征距离的均匀性。
• 提出一种块洗牌技术，通过在相同排列下训练模型识别洗牌后草图与照片块之间的对应关系，实现实例级结构对齐。
• 微调CLIP中少量的层归一化参数以获得额外性能提升。
• 使用CLIP的文本编码器配合手工设计的提示（例如，'a photo of a [category]'）以增强语义迁移，替代word2vec嵌入。
• 通过消融实验验证各组件的贡献，包括提示长度以及提示学习与手工提示的对比。

实验结果

研究问题

• RQ1 能否通过提示学习有效适配CLIP用于零样本草图图像检索，且其性能是否优于先前方法？
• RQ2 如何利用CLIP的泛化能力提升ZS-SBIR中跨类别的语义迁移？
• RQ3 细粒度ZS-SBIR中出现的挑战（在类别级ZS-SBIR中不存在）是什么，如何解决？
• RQ4 在该零样本草图检索设置中，学习文本提示是否优于手工提示？
• RQ5 在细粒度细节建模方面，基于草图的检索与基于关键词的检索相比如何？

主要发现

• 所提方法在Sketchy数据集上的类别级ZS-SBIR任务中，mAP@all指标相对提升24.8%，超越先前SOTA。
• 在细粒度ZS-SBIR任务中，该方法在Sketchy数据集上的Top-1准确率相对提升26.9%，创下新SOTA。
• 移除f散度正则化损失（Lδ）后，FG-ZS-SBIR的Top-1准确率下降3.75%，证实其在平衡类别间特征距离方面的重要性。
• 块洗牌损失（LPS）在FG-ZS-SBIR中贡献了3.15%的Top-1准确率提升，证明其在学习结构对应关系方面的有效性。
• 使用CLIP的文本编码器配合手工提示，相比word2vec嵌入，Top-1准确率高出4.57%，证明视觉-语言预训练的价值。
• 与使用手工提示相比，学习文本提示导致Top-1准确率下降2.36%，表明在此情境下手工自然语言提示具有更好的泛化能力。