[论文解读] LLMs as Visual Explainers: Advancing Image Classification with Evolving Visual Descriptions

Songhao Han, Le Zhuo+2 more|arXiv (Cornell University)|Nov 20, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出了一种基于视觉反馈的迭代优化方法，利用由视觉语言模型（VLM）分类指标引导的大语言模型（LLM）智能体，通过迭代优化类别描述以提升图像分类性能。该方法结合了类遗传算法的演化机制与来自CLIP的视觉反馈，相较于最先进方法平均提升3.47%的准确率，并生成了鲁棒、可解释且可迁移的文本提示。

ABSTRACT

Vision-language models (VLMs) offer a promising paradigm for image classification by comparing the similarity between images and class embeddings. A critical challenge lies in crafting precise textual representations for class names. While previous studies have leveraged recent advancements in large language models (LLMs) to enhance these descriptors, their outputs often suffer from ambiguity and inaccuracy. We attribute this to two primary factors: 1) the reliance on single-turn textual interactions with LLMs, leading to a mismatch between generated text and visual concepts for VLMs; 2) the oversight of the inter-class relationships, resulting in descriptors that fail to differentiate similar classes effectively. In this paper, we propose a novel framework that integrates LLMs and VLMs to find the optimal class descriptors. Our training-free approach develops an LLM-based agent with an evolutionary optimization strategy to iteratively refine class descriptors. We demonstrate our optimized descriptors are of high quality which effectively improves classification accuracy on a wide range of benchmarks. Additionally, these descriptors offer explainable and robust features, boosting performance across various backbone models and complementing fine-tuning-based methods.

研究动机与目标

• 解决LLM因缺乏视觉基础而产生不准确视觉描述的‘无视觉解释’困境。
• 克服现有方法在区分相似类别时因描述过于通用、未经优化而导致的失败。
• 开发一种自动化、迭代式的流水线，利用VLM提供的视觉反馈演化类别描述，以提升分类性能。
• 生成可解释、鲁棒且可迁移的文本提示，使其在不同主干模型间具有泛化能力。
• 证明视觉反馈能显著增强优化稳定性并降低LLM-based提示生成中的方差。

提出的方法

• 将类别描述优化问题形式化为组合优化问题，旨在寻找能最大化VLM分类准确率的最佳文本描述。
• 基于LLM的智能体通过突变和交叉操作执行迭代演化，以探索并优化候选描述。
• 视觉反馈来源于CLIP的混淆矩阵和top-1准确率，作为奖励机制与记忆机制，引导LLM向更优解进化。
• 记忆库用于存储过往高性能描述，以稳定训练过程并降低优化结果的方差。
• 反馈回路使LLM能够基于实际视觉表现进行文本生成，避免随机或无关的描述。
• 该框架在多个数据集和主干网络上进行了验证，证明了优化后提示的可迁移性与鲁棒性。

Figure 1 : Schematic of the method. (a) Previous methods use an LLM to generate descriptive prompts for each class directly. (b) Our method optimizes class descriptions through an evolutionary process. We utilize a VLM (such as CLIP [ 29 ] ) to obtain visual feedback, e.g. , the confusion matrix, as

实验结果

研究问题

• RQ1 LLM生成的类别描述能否通过VLM提供的视觉反馈系统性地改进，从而提升图像分类准确率？
• RQ2 引入类别间关系与视觉性能指标后，对LLM生成描述的质量与可区分性有何影响？
• RQ3 视觉反馈在多大程度上稳定了优化过程并降低了LLM-based提示生成中的方差？
• RQ4 优化后的描述在不同视觉主干模型与数据集上是否具备泛化能力？
• RQ5 与现有LLM-based方法相比，演化后的描述在可解释性与语义相关性方面表现如何？

主要发现

• 该方法在九个图像分类基准上，相较于最先进LLM-based方法，平均准确率提升3.47%。
• 在Flowers102数据集上，当将优化后的提示迁移到ResNet-101与ViT-B/16主干网络时，准确率提升超过9%。
• 移除视觉反馈或记忆库后，性能显著下降且方差增大，证实了视觉反馈在优化稳定性中的关键作用。
• 最终优化后的描述具有高度可解释性，排名靠前的描述与特定类别的视觉特征具有强语义对齐，且歧义性显著降低。
• 与先前方法不同，该方法成功避免了对抽象或模糊类别的误分类——例如，能正确将‘威尔士亲王羽毛’识别为植物而非纹章符号，这得益于视觉基础的引入。
• 优化后的提示在多种主干网络上持续优于原始CLIP与现有LLM-based方法，展现出强大的可迁移性与鲁棒性。

Figure 2 : Illustration of iterative optimization with visual feedback. (a) Given raw class names as input, we first prompt the LLM to generate an initialization of class descriptors. These descriptors undergo an iterative optimization comprising three stages: mutation, where diverse new candidates