[论文解读] ProSpect: Prompt Spectrum for Attribute-Aware Personalization of Diffusion Models

Yuxin Zhang, Weiming Dong+7 more|arXiv (Cornell University)|May 25, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出 ProSpect，一种新颖方法，通过利用扩散模型的逐步去噪过程，将图像表示为生成阶段中文本标记嵌入的谱系，从而实现属性感知的个性化。通过引入扩展的提示谱系空间 $\mathcal{P}^{*}$，ProSpect 在无需微调的情况下，实现了对材质、风格、内容和布局等属性的优越解耦与可控性，支持从单张图像输入出发，实现高保真、直观的属性操控。

ABSTRACT

Personalizing generative models offers a way to guide image generation with user-provided references. Current personalization methods can invert an object or concept into the textual conditioning space and compose new natural sentences for text-to-image diffusion models. However, representing and editing specific visual attributes such as material, style, and layout remains a challenge, leading to a lack of disentanglement and editability. To address this problem, we propose a novel approach that leverages the step-by-step generation process of diffusion models, which generate images from low to high frequency information, providing a new perspective on representing, generating, and editing images. We develop the Prompt Spectrum Space P*, an expanded textual conditioning space, and a new image representation method called \sysname. ProSpect represents an image as a collection of inverted textual token embeddings encoded from per-stage prompts, where each prompt corresponds to a specific generation stage (i.e., a group of consecutive steps) of the diffusion model. Experimental results demonstrate that P* and ProSpect offer better disentanglement and controllability compared to existing methods. We apply ProSpect in various personalized attribute-aware image generation applications, such as image-guided or text-driven manipulations of materials, style, and layout, achieving previously unattainable results from a single image input without fine-tuning the diffusion models. Our source code is available athttps://github.com/zyxElsa/ProSpect.

研究动机与目标

• 为解决现有扩散模型个性化方法在视觉属性（如材质、风格和布局）方面缺乏解耦性与可编辑性的问题。
• 探究扩散模型的逐步生成过程与视觉属性频率分量（例如低频布局、高频材质）之间的关联。
• 开发一种新的文本条件空间 $\mathcal{P}^{*}$，以捕捉去噪阶段中属性特定的信息，实现更优的控制。
• 设计一种方法 ProSpect，将图像参考反演为阶段特定的文本嵌入，实现精确的、属性感知的图像生成与编辑。

提出的方法

• 该方法引入提示谱系空间 $\mathcal{P}^{*}$，一种扩展的文本条件空间，将扩散过程的不同去噪阶段建模为独立的条件点。
• ProSpect 通过优化扩散过程各阶段的标记嵌入，对参考图像进行反演，从而在不同频率下捕捉属性特定的信息。
• 该方法利用观察结果：扩散模型按顺序生成图像，依次为布局（低频）→ 内容 → 材质/风格（高频），从而实现分阶段的属性解耦。
• 对于每个去噪步骤，该方法计算并存储唯一的文本标记嵌入，形成贯穿生成过程的条件谱系。
• 通过选择性修改特定阶段的嵌入（例如，通过修改高频阶段的嵌入来改变材质），实现属性编辑。
• 通过结合来自参考图像或提示的阶段特定嵌入，支持图像引导和文本驱动的生成，实现复杂属性的重组。

实验结果

研究问题

• RQ1 能否利用扩散模型的逐步去噪过程，实现对材质、风格和布局等视觉属性的更好解耦？
• RQ2 视觉属性的频率成分与扩散模型中特定去噪阶段之间存在何种关联？
• RQ3 与全局条件控制相比，扩展的文本条件空间 $\mathcal{P}^{*}$ 是否能提升属性感知图像生成的保真度与可控性？
• RQ4 ProSpect 在不微调或重新训练扩散模型的前提下，能在多大程度上实现对单个属性的编辑？
• RQ5 ProSpect 是否能泛化至多属性编辑任务，例如将一张图像的布局、另一张图像的内容和第三张图像的风格进行组合？

主要发现

• ProSpect 通过将材质、风格、内容和布局分离至扩散过程的不同阶段，实现了优越的属性解耦，支持独立编辑。
• 该方法实现了高保真图像生成，显著提升了保真度与表现力，定性结果表明属性迁移准确且无伪影。
• 在布局引导生成中，ProSpect 有效转移了复杂构图（例如“一个草莓杯型的勺子”）及结构特征（如居中、对称），源自参考图像。
• 在多属性编辑中，ProSpect 有效结合了来自一张图像的布局、另一张图像的内容和第三张图像的风格，同时保持了相对的空间排列与视觉特征。
• 与现有方法（如 Textual Inversion 和 DreamBooth）相比，ProSpect 在属性编辑保真度与可控性方面表现更优，尤其在生成语义一致且失真最小的结果方面。
• 当应用于多张参考图像（如四尊雕塑）时，ProSpect 能够实现少样本图像生成，且在多样性与质量方面优于先前方法。