[论文解读] A Good Prompt Is Worth Millions of Parameters: Low-resource Prompt-based Learning for Vision-Language Models

Woojeong Jin, Cheng Yu+3 more|arXiv (Cornell University)|Oct 16, 2021

Multimodal Machine Learning Applications被引用 13

一句话总结

本文提出 FewVLM，一种紧凑的视觉-语言模型，通过基于提示的学习方法在 VQA 和图像字幕生成任务上实现了最先进（SOTA）的 few-shot 性能，其在 zero-shot VQA 上的表现优于参数量大 31 倍的模型，在相同任务上与参数量大 246 倍的模型表现相当。结果表明，有效的提示设计以及如 MaskedLM 和 PrefixLM 等预训练目标能显著提升性能，尤其在低资源设置下表现突出。

ABSTRACT

Large pre-trained vision-language (VL) models can learn a new task with a handful of examples and generalize to a new task without fine-tuning. However, these VL models are hard to deploy for real-world applications due to their impractically huge sizes and slow inference speed. To solve this limitation, we study prompt-based low-resource learning of VL tasks with our proposed method, FewVLM, relatively smaller than recent few-shot learners. For FewVLM, we pre-train a sequence-to-sequence transformer model with prefix language modeling (PrefixLM) and masked language modeling (MaskedLM). Furthermore, we analyze the effect of diverse prompts for few-shot tasks. Experimental results on VQA show that FewVLM with prompt-based learning outperforms Frozen which is 31x larger than FewVLM by 18.2% point and achieves comparable results to a 246x larger model, PICa. In our analysis, we observe that (1) prompts significantly affect zero-shot performance but marginally affect few-shot performance, (2) models with noisy prompts learn as quickly as hand-crafted prompts given larger training data, and (3) MaskedLM helps VQA tasks while PrefixLM boosts captioning performance. Our code is publicly available at \url{https://github.com/woojeongjin/FewVLM}

研究动机与目标

• 开发一种紧凑、高效的视觉-语言模型，用于低资源场景下的 few-shot 和 zero-shot 学习。
• 探究提示设计对 few-shot 和 zero-shot 视觉-语言任务性能的影响。
• 评估不同预训练目标（MaskedLM 与 PrefixLM）对下游任务泛化能力的影响。
• 确定噪声或人工设计的提示是否会影响学习速度和最终性能，尤其是在训练数据增加时。
• 通过减小模型规模和推理成本，实现视觉-语言模型的实际部署。

提出的方法

• 使用前缀语言建模（PrefixLM）和掩码语言建模（MaskedLM）两种目标，对序列到序列的 Transformer 模型进行预训练。
• 将视觉-语言任务转化为生成任务，即模型在给定图像和提示的前提下生成目标文本。
• 使用提示模板（如 ' <text_1> [A] '）引导模型生成，提升 few-shot 适应能力。
• 在多种提示格式下评估性能，包括人工设计、噪声和随机提示。
• 仅使用少量样本（1–300 个）对 FewVLM 进行微调，以评估其 few-shot 泛化能力。
• 在 VQA、图像字幕和 mini-ImageNet 任务上，将结果与大型基线模型 Frozen（31 倍大）和 PICa（246 倍大）进行对比。

实验结果

研究问题

• RQ1 提示设计如何影响视觉-语言任务中的 zero-shot 和 few-shot 性能？
• RQ2 当提供更多训练样本时，提示质量是否仍然重要？
• RQ3 不同预训练目标（MaskedLM 与 PrefixLM）如何影响不同下游任务的性能？
• RQ4 使用噪声提示训练的模型能否达到与人工设计提示模型相当的性能？
• RQ5 结合 MaskedLM 和 PrefixLM 预训练对跨任务泛化能力有何影响？

主要发现

• FewVLM 在 zero-shot VQAv2 上比 Frozen（31 倍大）模型高出 18.2 个百分点，准确率达到 43.4%。
• FewVLM 在 few-shot 学习中与 PICa（246 倍大）模型表现相当，在 VQAv2 上达到 48.2% 的准确率。
• 提示对 zero-shot 性能有显著影响，但对 few-shot 性能影响较小，尤其在训练数据较多时。
• 当训练数据足够充分时，使用噪声提示（如随机句子）训练的模型，其学习速度与使用人工设计提示的模型相当。
• MaskedLM 预训练可提升 VQA 任务性能，而 PrefixLM 则显著增强 Flickr30k 和 GQA 数据集上的图像字幕生成性能。
• 结合 MaskedLM 和 PrefixLM 预训练可产生协同效应，显著提升 VQA 和图像字幕任务的泛化能力。