[论文解读] Vitron: A Unified Pixel-level Vision LLM for Understanding, Generating, Segmenting, Editing

Hao Fei, Shengqiong Wu+3 more|arXiv (Cornell University)|Oct 8, 2024

Image and Object Detection Techniques被引用 19

一句话总结

VITRON 是一个通用的像素级视觉大模型，通过整合图像/视频编码器、一个中心 LLM，以及多种视觉后端，采用混合指令传递机制，统一实现图像与视频的理解、生成、分割和编辑。

ABSTRACT

Recent developments of vision large language models (LLMs) have seen remarkable progress, yet still encounter challenges towards multimodal generalists, such as coarse-grained instance-level understanding, lack of unified support for both images and videos, and insufficient coverage across various vision tasks. In this paper, we present VITRON, a universal pixel-level vision LLM designed for comprehensive understanding, generating, segmenting, and editing of both static images and dynamic videos. Building on top of an LLM backbone, VITRON incorporates encoders for images, videos, and pixel-level regional visuals within its frontend modules, while employing state-of-the-art visual specialists as its backend, via which VITRON supports a spectrum of vision end tasks, spanning visual comprehension to visual generation, from low level to high level. To ensure an effective and precise message passing from LLM to backend modules for function invocation, we propose a novel hybrid method by simultaneously integrating discrete textual instructions and continuous signal embeddings. Further, we design various pixel-level spatiotemporal vision-language alignment learning for VITRON to reach the best fine-grained visual capability. Finally, a cross-task synergy module is advised to learn to maximize the task-invariant fine-grained visual features, enhancing the synergy between different visual tasks. Demonstrated over 12 visual tasks and evaluated across 22 datasets, VITRON showcases its extensive capabilities in the four main vision task clusters. Overall, this work illuminates the great potential of developing a more unified multimodal generalist. Project homepage: https://vitron-llm.github.io/

研究动机与目标

• 激发需要一个同时处理图像和视频的统一多模态通用模型的理由。
• 开发一个能够执行理解、生成、分割和编辑的像素级视觉大语言模型。
• 设计一个混合消息传递机制，将决策从 LLM 传递到后端模块。
• 实现像素级时空视觉-语言对齐，以提升细粒度感知。
• 引入跨任务协同模块，以最大化跨任务的共享任务不变特征。

提出的方法

• 使用一个编码器-LLM-解码器架构，包含将图像、视频和区域 (sketch) 编码器输入到中心 LLM。
• 采用混合 LLM-to-backend 消息传递，将离散文本指令与连续信号嵌入相结合。
• 整合最先端的视觉专家（基于扩散的生成、分割、视频编辑等）作为后端解码器。
• 分三阶段训练：基本多模态对齐及指令/嵌入调优；细粒度时空对齐；跨任务协同学习。
• 将嵌入分解为任务特定特征与任务不变特征，并应用对抗训练以最大化跨任务共享。

实验结果

研究问题

• RQ1 单一的视觉 LLM 是否能够同时处理图像和视频的像素级理解、生成、分割和编辑？
• RQ2 如何在发出精确任务指令的同时，优化 LLM-to-backend 通信以保留模态信号？
• RQ3 跨任务协同机制是否通过跨任务共享的细粒度视觉特征改善性能？
• RQ4 细粒度时空对齐对下游的视觉问答和定位任务有何影响？

主要发现

• VITRON 在涵盖理解、生成、分割和编辑的12个任务和22个数据集上显示出熟练度。
• 与现有专家相比，VITRON 在若干任务上与最先进方法处于同等或超越地位。
• 消融结果表明混合消息传递和跨任务协同有助于性能提升。
• 像素级时空对齐提升了跨图像和视频的定位、问答以及区域级理解。
• 通过任务不变特征共享的跨任务协同在多种视觉任务上带来广泛的改进。
• 实证分析验证离散文本指令和连续嵌入在后端模块调用中的益处。