[论文解读] I Can't Believe There's No Images! Learning Visual Tasks Using only Language Supervision

Sophia Gu, Christopher M. Clark+1 more|arXiv (Cornell University)|Nov 17, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 CLOSE 方法，通过利用对比视觉-语言模型的共享语义嵌入空间，仅使用文本监督训练视觉任务模型。通过冻结视觉和语言编码器，并仅使用带自适应噪声的文本数据进行训练，该方法在图像字幕生成、视觉蕴含、VQA 和视觉新闻字幕任务上实现了接近最先进（SOTA）的性能表现，其在字幕生成和蕴含任务上超越以往纯文本方法超过 9 分，在视觉新闻字幕任务上更是超越 30 分以上。

ABSTRACT

Many high-level skills that are required for computer vision tasks, such as parsing questions, comparing and contrasting semantics, and writing descriptions, are also required in other domains such as natural language processing. In this paper, we ask whether it is possible to learn those skills from text data and then transfer them to vision tasks without ever training on visual training data. Key to our approach is exploiting the joint embedding space of contrastively trained vision and language encoders. In practice, there can be systematic differences between embedding spaces for different modalities in contrastive models, and we analyze how these differences affect our approach and study strategies to mitigate this concern. We produce models using only text training data on four representative tasks: image captioning, visual entailment, visual question answering and visual news captioning, and evaluate them on standard benchmarks using images. We find these models perform close to models trained on images, while surpassing prior work for captioning and visual entailment in this text-only setting by over 9 points, and outperforming all prior work on visual news by over 30 points. We also showcase a variety of stylistic image captioning models that are trained using no image data and no human-curated language data, but instead using readily-available text data from books, the web, or language models.

研究动机与目标

• 探究是否仅从文本数据中学习高层视觉理解能力，并在不使用任何视觉训练数据的情况下将其迁移到视觉任务中。
• 解决对比模型中图像与文本嵌入之间的领域偏移问题，该问题可能阻碍跨模态迁移性能。
• 开发一种方法，通过利用对比预训练中的共享语义空间，实现在无视觉数据情况下的零样本跨模态迁移。
• 证明仅使用文本数据（包括书籍、网络文本或语言模型生成的数据）训练风格化图像字幕模型的可行性。
• 建立一种可扩展、低成本的替代方案，替代昂贵的视觉数据采集，通过使用现成的文本数据训练视觉模型。

提出的方法

• 利用经过对比预训练的视觉-语言（V&L）模型，为图像和文本创建共享的语义嵌入空间。
• 在训练过程中冻结视觉和语言编码器，并仅使用文本输入来学习特定任务的表示。
• 通过在推理时用图像嵌入替换文本嵌入，实施文本到图像的迁移策略，实现零样本跨模态泛化。
• 在训练期间向文本嵌入中引入自适应噪声（例如高斯噪声），以缓解模态特异性分布偏移，提升模型鲁棒性。
• 使用适配器微调模型头部，同时保持冻结的编码器不变，实现在不重新训练主干网络的前提下进行任务特定适应。
• 在无需任何图像-字幕配对标注的情况下，使用多样化的文本数据源（包括书籍、网络文本和 LLM 生成的文本）进行模型训练。

Figure 1 : Overview of CLOSE . During training, input text is encoded into a vector with a text encoder and adapted with an adaptation method. A model learns to use the vector to perform a task such as VQA, captioning, or visual entailment. During testing, an input image is encoded with an image enc

实验结果

研究问题

• RQ1 是否仅从文本数据中学习高层视觉理解能力（如字幕生成、视觉问答和蕴含）并将其迁移到视觉任务中，而无需任何视觉监督？
• RQ2 对比模型中图像与文本嵌入空间的系统性差异如何影响跨模态迁移性能？这些差异又该如何缓解？
• RQ3 在标准视觉-语言基准上，仅使用文本数据训练的模型在多大程度上能达到与使用视觉数据训练的模型相当的性能？
• RQ4 是否可以有效使用仅文本数据（包括语言模型或多样化文本来源）训练风格化图像字幕模型？
• RQ5 在缺乏视觉数据的情况下，使用自适应噪声或其他领域不变正则化技术是否能显著提升零样本跨模态迁移性能？

主要发现

• 仅使用文本数据训练的 CLOSE 模型在图像字幕生成、视觉蕴含和 VQA 任务上的性能与完全监督模型相差仅 5-10 分，展现出强大的零样本迁移能力。
• 该方法在图像字幕生成任务上超越以往纯文本方法 17 个 CIDEr 分（95.4 vs. 78.2），在视觉蕴含任务上超越 9 分（75.9 vs. 66.6），在纯文本设置下创下新的 SOTA 记录。
• 在视觉新闻字幕基准上，纯文本模型以 80.8 的 CIDEr 分超越此前最佳结果（50.5 分，该结果使用了视觉数据）达 30.3 分，凸显了该方法的有效性。
• 使用大型语言模型（如 GPT-3）生成的文本数据训练的模型表现出色，仅需提示工程，无需人工标注的图像数据。
• 在训练中引入高斯噪声显著提升了对模态分布偏移的鲁棒性，优于未使用此类正则化的基线方法。
• 在多样化文本来源（如书籍、评论、LLM 输出）上训练的风格化字幕模型，无需任何配对图像数据，即可生成准确且风格一致的字幕。

Figure 2 : Using CLOSE to learn stylistic captioning without image data. Text examples of the desired style are gathered from sources such as the web, books, or GPT-3 . Models are trained on text only and then applied to images.