[论文解读] DreamArtist++: Controllable One-Shot Text-to-Image Generation via Positive-Negative Adapter

Ziyi Dong, Pengxu Wei+1 more|arXiv (Cornell University)|Nov 21, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

DreamArtist++ 提出了一种基于正负提示微调的单样本文本到图像生成方法，通过从单张参考图像中学习，利用成对的正负嵌入来平衡特征保留与生成多样性。该方法在图像质量、多样性与可控性方面达到当前最先进水平，在定量基准测试与人类评估中均优于先前的 Textual Inversion 和 DreamBooth 等方法。

ABSTRACT

State-of-the-arts text-to-image generation models such as Imagen and Stable Diffusion Model have succeed remarkable progresses in synthesizing high-quality, feature-rich images with high resolution guided by human text prompts. Since certain characteristics of image content \emph{e.g.}, very specific object entities or styles, are very hard to be accurately described by text, some example-based image generation approaches have been proposed, \emph{i.e.} generating new concepts based on absorbing the salient features of a few input references. Despite of acknowledged successes, these methods have struggled on accurately capturing the reference examples' characteristics while keeping diverse and high-quality image generation, particularly in the one-shot scenario (\emph{i.e.} given only one reference). To tackle this problem, we propose a simple yet effective framework, namely DreamArtist, which adopts a novel positive-negative prompt-tuning learning strategy on the pre-trained diffusion model, and it has shown to well handle the trade-off between the accurate controllability and fidelity of image generation with only one reference example. Specifically, our proposed framework incorporates both positive and negative embeddings or adapters and optimizes them in a joint manner. The positive part aggressively captures the salient characteristics of the reference image to drive diversified generation and the negative part rectifies inadequacies from the positive part. We have conducted extensive experiments and evaluated the proposed method from image similarity (fidelity) and diversity, generation controllability, and style cloning. And our DreamArtist has achieved a superior generation performance over existing methods. Besides, our additional evaluation on extended tasks, including concept compositions and prompt-guided image editing, demonstrates its effectiveness for more applications.

研究动机与目标

• 解决现有单样本文本到图像生成方法在仅使用一张参考图像时存在的过拟合与可控性差的问题。
• 通过引入双嵌入学习策略，捕捉期望与非期望视觉特征，从而提升生成多样性与保真度。
• 实现对复杂描述（包括风格迁移、物体组合与提示引导编辑）的高质量、可控图像生成。
• 在保持与文本提示及参考内容强对齐的同时，减少对多张参考图像的依赖。
• 开发一种参数高效且与现有扩散模型兼容的方法，以支持更广泛的部署。

提出的方法

• DreamArtist++ 采用正负提示微调（PNPT）策略，联合学习两种嵌入：正嵌入（$S^{p}_{*}$）用于捕捉参考图像中的显著特征，负嵌入（$S^{n}_{*}$）用于纠正缺陷并引导避免错误特征。
• 该方法仅微调文本编码器和 U-Net 中的提示嵌入，避免对扩散模型进行完整微调，以保持效率与泛化能力。
• 正嵌入通过强调关键视觉属性来驱动多样化生成，而负嵌入则对正信号中的错误进行内省与修正，从而提升鲁棒性。
• 推理阶段使用无分类器指导，通过结合学习到的伪词与新描述的文本提示，实现灵活控制。
• 通过组合多个学习到的伪词（每个伪词均带有独立的正负嵌入），该方法支持概念组合与提示引导编辑。
• 该方法兼容预训练扩散模型（如 LDM），且无需架构修改，可直接集成至标准文本到图像生成流程中。

实验结果

研究问题

• RQ1 基于单张参考图像的文本到图像生成方法是否能在不过拟合的前提下实现高多样性与高可控性？
• RQ2 与单嵌入方法相比，双嵌入（正负）提示微调策略在多大程度上提升了生成质量？
• RQ3 所学习的伪词在支持复杂文本引导图像生成任务（包括组合与编辑）方面的能力如何？
• RQ4 生成图像与真实图像相比有多真实？能否通过人类图灵测试？
• RQ5 该方法在跨领域迁移与参考图像与提示之间存在冲突描述的情况下是否具备良好泛化能力？

主要发现

• 在图灵测试中，DreamArtist++ 的失败率为 34.5%，显著超过 30% 的阈值，表明生成图像高度逼真，难以与真实图像区分。
• 在人类评估中，83.13% 的参与者更偏好 DreamArtist 生成的动漫图像，而非 Textual Inversion 生成的结果，表明其在艺术领域具有更优的视觉质量。
• 在多个基准测试中（包括零样本与少样本设置），该方法在图像相似度、多样性与可控性方面均优于现有方法。
• DreamArtist++ 在复杂提示下成功生成多样化图像，例如将机器人身体与古画风格结合，即使与参考图像存在冲突也能有效生成。
• 该方法实现了高效的提示引导图像编辑，生成部分与原始上下文无缝融合，性能与原始 LDM 特性相当。
• 该模型在概念组合方面表现出强泛化能力，能生成由多个学习到的伪词构成的连贯图像，包括物体-风格与风格-风格组合。