[论文解读] GIST: Generating Image-Specific Text for Fine-grained Object Classification

Kathleen M. Lewis, Emily Mu+2 more|arXiv (Cornell University)|Jul 21, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

GIST 提出了一种方法，通过使用特定领域的提示词对大型语言模型（GPT）生成细粒度、图像特定的文本描述，并利用 CLIP 将这些描述与图像匹配，从而为细粒度物体分类生成图像-文本对。这些图像-文本对被用于通过对比学习微调 CLIP，在四种不同数据集的全样本和少样本设置下均实现了最先进性能，相比 CLIP 线性探测平均提升 4.1% 的准确率。

ABSTRACT

Recent vision-language models outperform vision-only models on many image classification tasks. However, because of the absence of paired text/image descriptions, it remains difficult to fine-tune these models for fine-grained image classification. In this work, we propose a method, GIST, for generating image-specific fine-grained text descriptions from image-only datasets, and show that these text descriptions can be used to improve classification. Key parts of our method include 1. prompting a pretrained large language model with domain-specific prompts to generate diverse fine-grained text descriptions for each class and 2. using a pretrained vision-language model to match each image to label-preserving text descriptions that capture relevant visual features in the image. We demonstrate the utility of GIST by fine-tuning vision-language models on the image-and-generated-text pairs to learn an aligned vision-language representation space for improved classification. We evaluate our learned representation space in full-shot and few-shot scenarios across four diverse fine-grained classification datasets, each from a different domain. Our method achieves an average improvement of $4.1\%$ in accuracy over CLIP linear probes and an average of $1.1\%$ improvement in accuracy over the previous state-of-the-art image-text classification method on the full-shot datasets. Our method achieves similar improvements across few-shot regimes. Code is available at https://github.com/emu1729/GIST.

研究动机与目标

• 解决细粒度分类任务中用于微调视觉-语言模型的配对图像-文本数据有限的挑战。
• 使用特定领域的提示词，通过大型语言模型生成多样化、类别特定且细粒度的文本描述。
• 利用预训练的视觉-语言模型（CLIP）将每张图像与最相关、保留标签信息的文本描述匹配。
• 通过在自动生成的图像-文本对上微调 CLIP，提升零样本和少样本分类的准确率。
• 在包括皮肤病学、鸟类、花卉和飞机在内的多个不同领域中，展示一致的性能提升。

提出的方法

• 使用特定领域的提示词（例如：'雄性西部草地雀鸟长什么样？'）通过大型语言模型（GPT）为每个类别生成多样化、细粒度的描述。
• 应用预训练的视觉-语言模型（CLIP）基于视觉-语义相似性，将每张训练图像与最相关、保留标签信息的描述进行匹配。
• 将匹配后的描述总结为简洁、信息丰富的描述，适用于微调 CLIP。
• 使用对比学习在生成的图像-文本对上微调 CLIP，以对齐视觉与语言表征空间。
• 利用对齐后的表征实现全样本和少样本图像分类。
• 将微调后的 CLIP 与替代方法（包括 GIT 等视觉定位模型）进行性能比较。

实验结果

研究问题

• RQ1 对大型语言模型使用特定领域的提示词，是否能生成比通用提示词更具区分性与细粒度的描述？
• RQ2 通过 CLIP 将图像特定的描述与图像匹配，是否能提升下游细粒度分类任务的性能？
• RQ3 每张图像的描述数量和描述长度如何影响分类准确率？
• RQ4 GIST 生成的图像-文本对是否能在全样本和少样本场景下，持续提升多个不同细粒度数据集的性能？
• RQ5 在相同数据上微调 CLIP 与微调视觉定位模型 GIT 相比，表现如何？

主要发现

• 在四个细粒度分类基准数据集的全样本设置下，GIST 相比 CLIP 线性探测平均提升 4.1% 的准确率。
• 在全样本设置下，GIST 相比之前最先进图像-文本分类方法平均提升 1.1% 的准确率。
• 在少样本设置下，该方法也实现了类似的性能提升，例如在 5-shot Fitzpatrick40 上达到 44.10% 的 top-1 准确率，而 GIT 仅为 24.02%。
• 与使用较长、未经编辑的原始描述相比，缩短 GPT 生成的原始描述能提升下游分类性能。
• 在相同图像-文本对上微调 CLIP 的表现优于微调视觉定位模型 GIT，尤其在低数据设置下优势更明显。
• 该方法在多种领域均表现稳健，包括皮肤病学（Fitzpatrick40）、鸟类（CUB200-2011）、花卉（Flowers102）和飞机（FGVC-Aircraft）。