[论文解读] Images Speak in Images: A Generalist Painter for In-Context Visual Learning

Xinlong Wang, Wen Wang+3 more|arXiv (Cornell University)|Dec 5, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

本文提出Painter，一种通用视觉模型，通过将输入和输出均视为图像，并对拼接的输入-输出图像对进行掩码图像建模，实现了上下文感知的视觉学习。该模型在深度估计任务上达到最先进性能，在包括分割和图像恢复在内的七个多样化视觉任务上也表现出色，且无需针对任务调整网络架构或损失函数。

ABSTRACT

In-context learning, as a new paradigm in NLP, allows the model to rapidly adapt to various tasks with only a handful of prompts and examples. But in computer vision, the difficulties for in-context learning lie in that tasks vary significantly in the output representations, thus it is unclear how to define the general-purpose task prompts that the vision model can understand and transfer to out-of-domain tasks. In this work, we present Painter, a generalist model which addresses these obstacles with an "image"-centric solution, that is, to redefine the output of core vision tasks as images, and specify task prompts as also images. With this idea, our training process is extremely simple, which performs standard masked image modeling on the stitch of input and output image pairs. This makes the model capable of performing tasks conditioned on visible image patches. Thus, during inference, we can adopt a pair of input and output images from the same task as the input condition, to indicate which task to perform. Without bells and whistles, our generalist Painter can achieve competitive performance compared to well-established task-specific models, on seven representative vision tasks ranging from high-level visual understanding to low-level image processing. In addition, Painter significantly outperforms recent generalist models on several challenging tasks.

研究动机与目标

• 解决计算机视觉中上下文学习的挑战，其中任务输出在表示上存在显著差异，导致泛化困难。
• 克服视觉任务缺乏统一、通用接口的问题，与自然语言处理中使用文本标记作为通用接口的情况形成对比。
• 提出一种以视觉为中心的解决方案，将视觉任务输出重新定义为三通道图像，并使用图像对作为上下文学习的提示。
• 仅通过视觉上下文实现零样本和少样本的域外任务适应，无需语言理解或模型微调。
• 使用单一统一的训练目标，在从高层理解到低层恢复的多样化视觉任务中实现具有竞争力的性能。

提出的方法

• 通过将输出表示为三通道张量（即“输出图像”），将所有视觉任务重新表述为图像修复问题。
• 通过将同一任务的输入和输出图像对拼接为单个更长的图像，构建训练数据。
• 在输出图像部分应用标准的掩码图像建模（MIM），并以输入图像块作为条件进行预测。
• 在推理过程中，使用来自任务的配对输入-输出图像作为上下文提示，使模型能够在无显式语言指令的情况下推断任务。
• 使用统一目标端到端训练单一通用模型，无需为新任务修改网络架构或损失函数。
• 通过直接输入输入-输出示例对作为上下文，实现上下文推理，使模型能够泛化到未见过的类别和任务。

Figure 1 : The training pipeline of the masked image modeling (MIM) framework.

实验结果

研究问题

• RQ1 是否可以建立一个统一的接口，使视觉任务能够在不依赖语言标记的情况下实现上下文学习？
• RQ2 如何训练一个通用视觉模型，使用单一简单目标完成多样化任务，同时保持强大性能？
• RQ3 视觉模型是否能仅通过视觉示例作为提示，在无微调或语言监督的情况下泛化到域外任务？
• RQ4 将输出视为图像并使用图像对作为提示，是否能比现有通用模型带来更好的少样本和零样本泛化性能？
• RQ5 统一的图像中心框架是否能在具有挑战性的任务（如深度估计和全景分割）上超越专用模型？

主要发现

• Painter在NYUv2深度估计任务上达到最先进性能，优于以往使用复杂架构和损失函数的专用模型。
• 在语义分割（ADE-20K）、实例分割和全景分割（COCO）以及关键点检测任务上，Painter表现具有竞争力，性能达到或超过任务专用模型。
• Painter在图像去噪、去雨和低光照增强等具有挑战性的任务上显著优于近期通用模型。
• 模型能有效泛化到域外类别，例如开放词汇关键点检测（如马、猴子、扫帚）和实例分割（如平板），即使这些类别未出现在训练数据中。
• 通过搜索或学习得到的提示微调优于随机提示，表明提示优化可增强上下文学习能力。
• 即使使用随机提示，模型仍表现出强鲁棒性，表明图像中心的上下文学习框架具有内在的稳定性和泛化能力。

Figure 2 : Visualizations of examples and predictions obtained by our Painter for different tasks , such as semantic segmentation, depth estimation, instance segmentation, human keypoint detection, image denoising, image deraining and low-light image enhancement. Best viewed on screen.