[论文解读] MagicMix: Semantic Mixing with Diffusion Models

Jun Hao Liew, Hanshu Yan+2 more|arXiv (Cornell University)|Oct 28, 2022

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

MagicMix 引入了一项名为语义混合（semantic mixing）的新型文本到图像生成任务，通过使用预训练的扩散模型混合两种不同的语义（例如，柯基犬 + 咖啡机），实现新颖、逼真的概念合成。它利用扩散模型的渐进去噪过程——先从噪声或图像生成粗略布局，再注入新的语义概念——在无需微调或空间掩码的情况下实现高保真结果。

ABSTRACT

Have you ever imagined what a corgi-alike coffee machine or a tiger-alike rabbit would look like? In this work, we attempt to answer these questions by exploring a new task called semantic mixing, aiming at blending two different semantics to create a new concept (e.g., corgi + coffee machine -- > corgi-alike coffee machine). Unlike style transfer, where an image is stylized according to the reference style without changing the image content, semantic blending mixes two different concepts in a semantic manner to synthesize a novel concept while preserving the spatial layout and geometry. To this end, we present MagicMix, a simple yet effective solution based on pre-trained text-conditioned diffusion models. Motivated by the progressive generation property of diffusion models where layout/shape emerges at early denoising steps while semantically meaningful details appear at later steps during the denoising process, our method first obtains a coarse layout (either by corrupting an image or denoising from a pure Gaussian noise given a text prompt), followed by injection of conditional prompt for semantic mixing. Our method does not require any spatial mask or re-training, yet is able to synthesize novel objects with high fidelity. To improve the mixing quality, we further devise two simple strategies to provide better control and flexibility over the synthesized content. With our method, we present our results over diverse downstream applications, including semantic style transfer, novel object synthesis, breed mixing, and concept removal, demonstrating the flexibility of our method. More results can be found on the project page https://magicmix.github.io

研究动机与目标

• 提出一种新的图像生成任务——语义混合，专注于将两个不同的语义概念融合为一个新颖且连贯的单一对象。
• 解决在无真实标签的情况下生成不存在的混合概念（例如，类似柯基犬的咖啡机）的逼真、高保真图像的挑战。
• 开发一种方法，在保留空间布局和几何结构的同时，利用预训练的扩散模型实现灵活、可控的语义混合。
• 展示该方法在多种创意应用中的多功能性，包括新对象合成、品种混合以及概念移除。

提出的方法

• 利用文本条件扩散模型的渐进去噪特性，其中粗略布局和形状在早期出现，语义细节在后期浮现。
• 通过从纯高斯噪声中去噪并使用文本提示（例如，'一张柯基犬的照片'）生成初始粗略布局，或通过破坏某一概念的真实图像来生成。
• 在去噪过程的后期阶段，通过条件提示注入第二个语义概念（例如，'咖啡机'），以引导语义内容的生成。
• 采用两阶段去噪过程：首先建立布局/几何结构，然后通过条件注意力调制注入并优化语义内容。
• 引入两种控制策略以提升混合质量与灵活性，增强语义一致性和视觉保真度。
• 支持图像引导和纯文本（文本-文本）混合模式，实现在无输入图像时仅通过文本推断布局的生成。

实验结果

研究问题

• RQ1 能否在不微调的情况下，利用预训练的扩散模型通过语义混合两个无关语义来生成新颖的混合概念？
• RQ2 如何利用扩散模型的渐进去噪过程，将布局生成与语义内容注入解耦？
• RQ3 当两个概念在形状或结构上均无相似性时，语义混合存在哪些局限性？
• RQ4 MagicMix 在支持多样化的创意应用（如品种混合、概念移除和语义风格迁移）方面能达到何种程度？
• RQ5 缺乏空间掩码或微调对合成混合对象的质量与一致性有何影响？

主要发现

• MagicMix 在无需微调或空间掩码的情况下，成功生成了如'类似柯基犬的咖啡机'和'兔子-老虎混合体'等新颖混合概念的高保真、逼真图像。
• 该方法在有效整合第二个概念的语义属性的同时，保留了源概念的空间布局和几何结构。
• 品种混合实验表明，MagicMix 能够将不同动物品种（如拉布拉多犬和斗牛犬）结合，并保留双方的显著特征，如耳朵形状和面部结构。
• 通过负向加权图像-文本交叉注意力实现概念移除，使模型能够将原始语义（如'水果'→'花朵'）替换，同时保持原始布局。
• 纯文本语义混合是可行的，但由于缺乏视觉引导，导致布局不可预测，凸显了其关键局限性。
• 当概念之间缺乏形状相似性时（例如，'货车'和'猫'），失败案例多表现为拼接而非融合的输出，表明未来需在结构对齐方面开展进一步工作。