[论文解读] Generative Visual Prompt: Unifying Distributional Control of Pre-Trained Generative Models

Chen Wu, Saman Motamed+2 more|arXiv (Cornell University)|Sep 14, 2022

Generative Adversarial Networks and Image Synthesis被引用 12

一句话总结

本文提出了一种名为生成式视觉提示（PromptGen）的新框架，通过使用现成模型作为控制信号，实现对预训练生成模型的分布控制。通过将控制建模为基于能量的模型（EBM），并利用可逆神经网络近似该模型，PromptGen 实现了无需推理时优化的高效前向采样，从而在无需微调或标注数据的情况下，对 StyleGAN2、扩散自编码器和 NVAE 等多种模型实现可控且去偏的生成，控制信号可来自 CLIP、分类器或逆图形模型。

ABSTRACT

Generative models (e.g., GANs, diffusion models) learn the underlying data distribution in an unsupervised manner. However, many applications of interest require sampling from a particular region of the output space or sampling evenly over a range of characteristics. For efficient sampling in these scenarios, we propose Generative Visual Prompt (PromptGen), a framework for distributional control over pre-trained generative models by incorporating knowledge of other off-the-shelf models. PromptGen defines control as energy-based models (EBMs) and samples images in a feed-forward manner by approximating the EBM with invertible neural networks, avoiding optimization at inference. Our experiments demonstrate how PromptGen can efficiently sample from several unconditional generative models (e.g., StyleGAN2, StyleNeRF, diffusion autoencoder, NVAE) in a controlled or/and de-biased manner using various off-the-shelf models: (1) with the CLIP model as control, PromptGen can sample images guided by text, (2) with image classifiers as control, PromptGen can de-bias generative models across a set of attributes or attribute combinations, and (3) with inverse graphics models as control, PromptGen can sample images of the same identity in different poses. (4) Finally, PromptGen reveals that the CLIP model shows a "reporting bias" when used as control, and PromptGen can further de-bias this controlled distribution in an iterative manner. The code is available at https://github.com/ChenWu98/Generative-Visual-Prompt.

研究动机与目标

• 解决如 GAN 和扩散模型等无监督预训练生成模型中存在的可控性不足与偏见问题。
• 在无需模型特定微调或标注数据的情况下，统一多种生成模型的分布控制。
• 通过避免推理时的优化，实现高效、前向传播的采样。
• 通过迭代控制组合揭示并缓解预训练控制模型（如 CLIP）中的偏见。
• 提供一个模块化、独立的框架，在训练后将控制与生成模型解耦。

提出的方法

• PromptGen 将控制建模为基于能量的模型（EBM），其定义依赖于现成模型（如 CLIP、分类器或逆图形网络）。
• 通过可逆神经网络（INN）近似 EBM，实现无需迭代优化的快速前向采样。
• 框架保持预训练生成模型的权重固定，无需重新训练。
• 通过将 INN 与生成模型的潜在空间组合，形成新的可微分分布以供采样。
• 通过将组合模型视为新的生成模型，实现迭代控制，从而对有偏分布进行优化。
• 该方法对底层生成模型无依赖，支持 StyleGAN2、StyleNeRF、扩散自编码器和 NVAE。

实验结果

研究问题

• RQ1 我们能否使用现成模型作为控制信号，实现对预训练生成模型的高效前向采样？
• RQ2 如何在无需模型特定适配的情况下，统一控制多种生成模型（如 GAN、扩散模型、VAE）？
• RQ3 PromptGen 能否通过预训练分类器实现对种族或性别等属性的去偏生成？
• RQ4 CLIP 的固有偏见（如报告偏见）是否会在受控生成中显现，是否可被缓解？
• RQ5 迭代控制组合能否提升生成分布的质量与公平性？

主要发现

• PromptGen 实现了无需推理时优化的高效前向采样，可利用 CLIP、分类器和姿态回归器等现成模型控制预训练生成模型。
• 使用 CLIP 作为控制信号时，PromptGen 能够以高保真度生成与文本提示（如 'a photo of a baby'）一致的图像。
• 在种族分类器引导下，PromptGen 实现了各人种群体的均匀采样，有效缓解了 StyleGAN2 默认偏好白人个体的偏见。
• 通过使用逆图形模型作为控制信号，PromptGen 实现了姿态变化下的身份保持生成，维持了身份一致性。
• 该框架揭示了 CLIP 存在‘报告偏见’——例如，'without makeup' 与女性正相关——而 PromptGen 可通过迭代方式逐步缓解该偏见。
• PromptGen 与 CLIP 检索的失败模式一致，表明观察到的失败（如误解否定或数值计数）源于 CLIP 的局限性，而非 PromptGen 方法本身。