[论文解读] From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models

Jiaxian Guo, Junnan Li+5 more|arXiv (Cornell University)|Dec 21, 2022

Multimodal Machine Learning Applications被引用 12

一句话总结

本文提出 Img2LLM，一种即插即用模块，通过生成合成图像描述和相应的问答对作为提示，使冻结的大规模语言模型（LLMs）能够执行零样本视觉问答（VQA）。该方法在无需端到端微调或专门训练的情况下，实现了当前最优的零样本 VQA 性能——在 VQAv2 上优于 Flamingo 5.6%，在 A-OKVQA 上优于少样本方法高达 20%。

ABSTRACT

Large language models (LLMs) have demonstrated excellent zero-shot generalization to new language tasks. However, effective utilization of LLMs for zero-shot visual question-answering (VQA) remains challenging, primarily due to the modality disconnection and task disconnection between LLM and VQA task. End-to-end training on vision and language data may bridge the disconnections, but is inflexible and computationally expensive. To address this issue, we propose \emph{Img2Prompt}, a plug-and-play module that provides the prompts that can bridge the aforementioned modality and task disconnections, so that LLMs can perform zero-shot VQA tasks without end-to-end training. In order to provide such prompts, we further employ LLM-agnostic models to provide prompts that can describe image content and self-constructed question-answer pairs, which can effectively guide LLM to perform zero-shot VQA tasks. Img2Prompt offers the following benefits: 1) It can flexibly work with various LLMs to perform VQA. 2)~Without the needing of end-to-end training, it significantly reduces the cost of deploying LLM for zero-shot VQA tasks. 3) It achieves comparable or better performance than methods relying on end-to-end training. For example, we outperform Flamingo \cite{Deepmind:Flamingo2022} by 5.6\% on VQAv2. On the challenging A-OKVQA dataset, our method even outperforms few-shot methods by as much as 20\%.

研究动机与目标

• 解决在使用冻结 LLM 进行零样本 VQA 时视觉与语言之间的模态和任务脱节问题。
• 消除对视觉-语言模型进行昂贵的端到端微调的需求。
• 通过将视觉理解与语言生成解耦，实现 LLM 在 VQA 中灵活且低成本的部署。
• 在不依赖标注的少样本样本的情况下，提升零样本 VQA 的泛化能力。

提出的方法

• Img2LLM 使用视觉-语言模型（如 BLIP）和问题生成模型，从测试图像和问题中生成合成图像描述和相应的问答对。
• 将生成的合成 QA 对用作提示，引导冻结的 LLM 回答输入问题。
• 该方法为每个测试样本动态生成提示，避免依赖静态的少样本示例。
• 采用一种提示设计策略，即先连接所有描述，再连接所有问答对（CCC-QAQAQA），该设计优于交错式设计。
• 通过基于频率的过滤策略优化描述选择，以提升提示质量并减少噪声。
• 该方法与 LLM 无关，支持与任何现成的 LLM 进行即插即用集成。

实验结果

研究问题

• RQ1 通过利用合成视觉提示，冻结的 LLM 是否能够在无需端到端微调的情况下执行零样本 VQA？
• RQ2 提示设计（如 CCC-QAQAQA 与 CQA-CQA-CQA）如何影响 VQA 性能？
• RQ3 在零样本设置下，动态生成的、与图像和问题相关的合成 QA 对是否能优于静态的少样本示例？
• RQ4 描述选择策略（如最大/最小频率）对提示质量和下游 VQA 准确率有何影响？
• RQ5 在零样本 VQA 基准测试中，该方法与 Flamingo 等端到端训练模型相比表现如何？

主要发现

• 在 VQAv2 验证集上，Img2LLM 相较于 Flamingo 提升 5.6%，使用 OPT-30B 模型达到 59.5% 的准确率。
• 在具有挑战性的 A-OKVQA 基准上，Img2LLM 在准确率上相比少样本方法最高提升 20%。
• CCC-QAQAQA 提示设计显著优于 CQA-CQA-CQA，分别在 VQAv2 和 OK-VQA 上达到 59.5% 和 41.8% 的准确率。
• 使用与问题相关的描述并结合过滤策略后，准确率提升至 VQAv2 的 59.5% 和 OK-VQA 的 41.8%，而使用完整图像描述时准确率仅为 57.1% 和 39.8%。
• 该方法将推理开销降低至 A100 GPU 上额外 24.4% 的时间，避免了 Flamingo 等端到端训练所需的 50 万+ TPU 小时成本。
• 消融实验表明，提示设计和描述选择策略对性能有显著影响，其中最小频率的描述选择策略带来性能提升。