[论文解读] Kosmos-G: Generating Images in Context with Multimodal Large Language Models

Xichen Pan, Li Dong+4 more|arXiv (Cornell University)|Oct 4, 2023

Computational and Text Analysis Methods被引用 6

一句话总结

Kosmos-G 是一种多模态大语言模型，通过使用文本锚定和得分蒸馏指令微调，将视觉-语言模型的输出空间与 CLIP 对齐，从而实现零样本、多实体主体驱动的图像生成。它在不修改图像解码器的前提下，在文本到图像生成和主体驱动生成任务中均达到最先进性能，可无缝集成 U-Net 技术（如 ControlNet 和 LoRA）。

ABSTRACT

Recent advancements in subject-driven image generation have made significant strides. However, current methods still fall short in diverse application scenarios, as they require test-time tuning and cannot accept interleaved multi-image and text input. These limitations keep them far from the ultimate goal of "image as a foreign language in image generation." This paper presents Kosmos-G, a model that leverages the advanced multimodal perception capabilities of Multimodal Large Language Models (MLLMs) to tackle the aforementioned challenge. Our approach aligns the output space of MLLM with CLIP using the textual modality as an anchor and performs compositional instruction tuning on curated data. Kosmos-G demonstrates an impressive capability of zero-shot subject-driven generation with interleaved multi-image and text input. Notably, the score distillation instruction tuning requires no modifications to the image decoder. This allows for a seamless substitution of CLIP and effortless integration with a myriad of U-Net techniques ranging from fine-grained controls to personalized image decoder variants. We posit Kosmos-G as an initial attempt towards the goal of "image as a foreign language in image generation." The code can be found at https://aka.ms/Kosmos-G

研究动机与目标

• 为解决通用视觉-语言到图像（VL2I）生成中的空白，特别是针对多实体输入。
• 实现在多张图像上，对交错的视觉-语言提示实现零样本、主体驱动的图像生成。
• 开发一种方法，将多模态大语言模型的输出与扩散图像解码器对齐，而无需修改 U-Net 架构。
• 实现与现有 U-Net 技术（如 ControlNet 和 LoRA）的无缝集成，以实现细粒度控制与个性化。

提出的方法

• 该模型采用‘先对齐后指令’的策略，首先在多模态语言建模上进行预训练，以统一视觉与语言表征。
• 利用文本模态作为桥梁，将多模态大语言模型（MLLM）的输出空间锚定到 CLIP 的文本编码器，实现语义对齐。
• 应用得分蒸馏指令微调，从冻结的图像解码器中蒸馏数据分布，使 MLLM 获得可微梯度。
• 模型接受字幕与分割图像交错输入，每个实体后跟随其对应图像。
• 不修改图像解码器（U-Net 或 VAE），使 CLIP 可在任何基于扩散的系统中实现即插即用的替换。
• 该方法通过利用 MLLM 在上下文中感知和推理多张图像与文本的能力，实现零样本多实体生成。

实验结果

研究问题

• RQ1 多模态大语言模型能否在不微调图像解码器的前提下，从通用的多图像视觉-语言输入中生成高保真图像？
• RQ2 视觉-语言模型在多实体上能否实现零样本主体驱动的图像生成？
• RQ3 能否通过得分蒸馏指令微调在不改变 U-Net 架构的前提下，用其他模型替代扩散模型中的 CLIP？
• RQ4 组合式指令微调与基于 CLIP 的对齐对图像生成质量与保真度有何影响？
• RQ5 Kosmos-G 能否与现有 U-Net 技术（如 ControlNet 和 LoRA）无缝集成，以实现增强的控制与个性化？

主要发现

• Kosmos-G 在零样本主体驱动生成任务中取得 DreamBench 得分为 10.99，优于 CLIP 对齐模型如 GILL-8B（12.20）和 Emu-14B（11.66）。
• 在 MS-COCO 数据集上，Kosmos-G 的 FID 得分为 9.34，是所有 CLIP 对齐的 VL2I 模型中最低的，与基础版 Stable Diffusion v1.5 性能相当。
• 端到端微调无法生成有意义的图像，证明了所提出的对齐与指令微调流程的必要性。
• 若无指令微调，Kosmos-G 仅能生成语义对齐的图像，但无法忠实还原实体，凸显了微调阶段的重要性。
• 该模型实现了零样本多实体主体驱动生成，这是以往方法未能实现的能力。
• Kosmos-G 支持与 ControlNet 和 LoRA 变体的即插即用集成，如定性结果所示，可实现更优的控制与风格化。