[论文解读] M-VADER: A Model for Diffusion with Multimodal Context

Samuel Weinbach, Marco Bellagente+8 more|arXiv (Cornell University)|Dec 6, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

M-VADER 是一种扩散模型，通过一种新颖的多模态嵌入模型 S-MAGMA（一个结合视觉-语言图像字幕和语义搜索的 130 亿参数解码器）实现，能够基于文本和图像的任意组合生成图像。该模型支持通过多模态提示实现可控图像生成，包括图像构图与风格迁移，并可通过注意力重加权对各个组件的重要性进行细粒度控制。

ABSTRACT

We introduce M-VADER: a diffusion model (DM) for image generation where the output can be specified using arbitrary combinations of images and text. We show how M-VADER enables the generation of images specified using combinations of image and text, and combinations of multiple images. Previously, a number of successful DM image generation algorithms have been introduced that make it possible to specify the output image using a text prompt. Inspired by the success of those models, and led by the notion that language was already developed to describe the elements of visual contexts that humans find most important, we introduce an embedding model closely related to a vision-language model. Specifically, we introduce the embedding model S-MAGMA: a 13 billion parameter multimodal decoder combining components from an autoregressive vision-language model MAGMA and biases finetuned for semantic search.

研究动机与目标

• 使扩散模型能够使用结合文本和图像的多模态提示生成图像，克服仅依赖单模态文本提示的局限性。
• 开发一种统一的嵌入模型，能够处理交错排列的文本和图像输入，以实现复杂引导。
• 在图像生成过程中，对多模态提示中各个组件（文本或图像）的影响实现细粒度控制。
• 在保留高质量图像合成能力的同时，为 Stable Diffusion 扩展多模态条件生成能力。
• 探索多模态提示在创意与精确图像生成方面的潜力，超越标准的文本到图像模型。

提出的方法

• S-MAGMA 是一个 130 亿参数的仅解码器 Transformer 模型，通过将视觉-语言图像字幕模型（MAGMA）与语义搜索模型（Luminous-Explore）结合并微调，以实现多模态理解。
• 多模态提示（交错排列的文本与图像）由 S-MAGMA 嵌入为上下文表征，用于条件化扩散过程。
• 经过微调的 Stable Diffusion 版本在去噪过程中使用交叉注意力机制关注 S-MAGMA 的嵌入表示，从而实现多模态引导。
• 通过重加权 S-MAGMA 输出中各个标记或图像块的注意力分数，控制提示组件的相对重要性。
• 模型在配对的图文数据上进行训练，未对多模态构图施加显式监督，依赖模型学习跨模态对齐能力。
• 该架构支持灵活的提示结构，包括多个图像和文本段落，并具备动态注意力路由能力。

实验结果

研究问题

• RQ1 扩散模型能否有效被文本与图像的组合引导，而非仅依赖文本提示？
• RQ2 在图像生成过程中，如何控制多模态提示中不同模态（文本与图像）的相对影响？
• RQ3 一个单一的多模态嵌入模型能否有效表征多样化的文本与图像组合，以支持下游图像合成？
• RQ4 多模态提示在图像生成中的定性能力如何，包括构图与风格迁移？
• RQ5 多模态提示中输入元素的顺序如何影响生成图像，是否可被缓解？

主要发现

• M-VADER 能够成功生成高质量图像，且以交错排列的文本与图像提示为条件，展现出强大的多模态理解能力。
• 该模型通过结合两个输入图像与文本引导，实现了图像构图，生成结果具有连贯性与上下文相关性。
• 通过参考图像与文本将随机噪声转换为目标图像，实现了图像变化，展示了可控编辑能力。
• 注意力分数的重加权可实现对提示组件影响的可预测控制，使用户能够根据需要强调文本或图像内容。
• 在某些情况下，模型对输入顺序表现出敏感性，表明其在排列不变性方面存在局限，可能影响相似提示的一致性。
• 由于缺乏针对复杂多模态任务（如构图与风格迁移）的标准化基准，定量评估仍具挑战性。