[论文解读] InstructDiffusion: A Generalist Modeling Interface for Vision Tasks

Zigang Geng, Binxin Yang+9 more|arXiv (Cornell University)|Sep 7, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

InstructDiffusion 提出了一种统一的基于扩散模型的框架，将多种视觉任务——如分割、关键点检测和图像编辑——视为在连续的3通道图像空间中由指令驱动的像素级操作。通过训练单一模型，使其能够从自然语言指令中预测像素级输出，该方法在未见任务上实现了强大的零样本泛化能力，并在新数据集上超越了先前的方法，标志着迈向视觉领域通用模型接口的重要一步。

ABSTRACT

We present InstructDiffusion, a unifying and generic framework for aligning computer vision tasks with human instructions. Unlike existing approaches that integrate prior knowledge and pre-define the output space (e.g., categories and coordinates) for each vision task, we cast diverse vision tasks into a human-intuitive image-manipulating process whose output space is a flexible and interactive pixel space. Concretely, the model is built upon the diffusion process and is trained to predict pixels according to user instructions, such as encircling the man's left shoulder in red or applying a blue mask to the left car. InstructDiffusion could handle a variety of vision tasks, including understanding tasks (such as segmentation and keypoint detection) and generative tasks (such as editing and enhancement). It even exhibits the ability to handle unseen tasks and outperforms prior methods on novel datasets. This represents a significant step towards a generalist modeling interface for vision tasks, advancing artificial general intelligence in the field of computer vision.

研究动机与目标

• 将从理解到生成的多样化计算机视觉任务统一在一个单一的、基于指令的框架下。
• 通过将所有任务建模为连续的、像素级的图像编辑，克服任务专用架构和离散输出表示的局限性。
• 通过统一的、指令对齐的建模接口，实现对未见任务的零样本泛化。
• 通过使用共享的基于扩散的架构，联合训练多个视觉任务，提升模型泛化能力。
• 通过实现灵活、符合人类直觉的视觉模型交互，推动计算机视觉领域的人工通用智能发展。

提出的方法

• 该模型使用去噪扩散过程来预测3通道RGB图像作为输出，掩码和关键点通过统一表示编码到图像空间中。
• 任务被重新表述为自然语言指令，例如“将左边的车涂成蓝色”或“在男人左肩上放一个红色圆圈”。
• 后处理模块将3通道输出解码为二值掩码和关键点坐标等标准格式，以供评估。
• 该模型通过统一的指令-输入-输出范式，在包括分割、关键点检测和图像编辑在内的多种视觉任务上进行联合训练。
• 在微调阶段使用人类对齐数据，通过CLIP-Sim指标衡量，提升图像与文本对齐程度，从而增强指令遵循的保真度。
• 该框架利用扩散模型的连续性，避免了离散标记化方法固有的量化误差。

实验结果

研究问题

• RQ1 是否可以仅通过自然语言指令训练单一视觉模型，而无需为特定任务设计专用头？
• RQ2 在多个视觉任务上进行联合训练，如何影响模型对未见任务和数据集的泛化能力？
• RQ3 基于扩散的模型在未见任务（如检测和分类）上，其零样本能力能达到何种程度？
• RQ4 人类对齐的微调在多大程度上改善了模型对人类意图的指令遵循对齐？
• RQ5 将掩码和关键点统一表示为3通道图像，是否能在保持任务特定精度的同时实现泛化？

主要发现

• 联合训练的InstructDiffusion模型在四个未见测试数据集（RefClef、ADE-847、PC-459、ADE-150）上优于单任务模型，展现出卓越的开放集泛化能力。
• 联合训练显著提升了在未见数据集上的性能，消融实验表明其在零样本泛化方面明显优于专用模型。
• 该模型通过将指令解释为指代性分割任务，成功实现零样本检测与分类，从标记区域中提取边界框和类别标签。
• 通过直接指令如“圈出右耳”，在人和动物面部实现了高精度的对齐，表明其对细粒度任务具有强大适应性。
• 人类对齐微调使CLIP-Sim从29.6提升至29.9（在1,000个样本数据集上训练约10个周期），证实了图像与文本对齐的增强。
• 视觉对比显示，多任务训练提升了编辑精度，例如能正确地将帽子放置在猎豹头上，这得益于对目标理解的增强。