[论文解读] An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion

Rinon Gal, Yuval Alaluf+5 more|arXiv (Cornell University)|Aug 2, 2022

Multimodal Machine Learning Applications被引用 464

一句话总结

本文介绍 Textual Inversion，在冻结的文本到图像模型的嵌入空间中从 3–5 张图像学习一个新的伪词，从而实现个性化、语言引导的生成与用户提供概念的组合，而不对模型进行微调。

ABSTRACT

Text-to-image models offer unprecedented freedom to guide creation through natural language. Yet, it is unclear how such freedom can be exercised to generate images of specific unique concepts, modify their appearance, or compose them in new roles and novel scenes. In other words, we ask: how can we use language-guided models to turn our cat into a painting, or imagine a new product based on our favorite toy? Here we present a simple approach that allows such creative freedom. Using only 3-5 images of a user-provided concept, like an object or a style, we learn to represent it through new "words" in the embedding space of a frozen text-to-image model. These "words" can be composed into natural language sentences, guiding personalized creation in an intuitive way. Notably, we find evidence that a single word embedding is sufficient for capturing unique and varied concepts. We compare our approach to a wide range of baselines, and demonstrate that it can more faithfully portray the concepts across a range of applications and tasks. Our code, data and new words will be available at: https://textual-inversion.github.io

研究动机与目标

• 使用冻结模型实现对用户提供概念的个性化文本到图像生成。
• 在文本编码器中用单个学习嵌入（伪词）表示新概念。
• 在保留模型先验的同时实现细粒度的视觉重建与编辑。
• 使用受 GAN 反演启发的扩展探索嵌入空间，并在各任务中评估保真度。
• 展示从对象变化、风格转换、组合和偏见降低等应用。

提出的方法

• 在固定文本编码器和扩散去噪器的潜在扩散模型（LDMs）上操作。
• 将新概念 S* 表示为一个可学习的嵌入 v*，替代文本编码器中占位符标记的嵌入。
• 使用重建目标优化 v*，在少量带有提示如“一个关于 S* 的照片”的示例图像上最小化 LDM 损失。
• 在对 v* 进行优化时，保持 cθ（文本编码器）和 εθ（去噪器）固定。
• 在优化过程中使用从 CLIP-ImageNet 模板中提取的中性上下文提示来引导生成。
• 实验超参数接近 LDM 的默认设置（例如 5,000 次优化步骤），并给出定性与定量分析。

实验结果

研究问题

• RQ1 单个新嵌入（伪词）是否能在多样上下文中高保真地捕捉用户提供的概念？
• RQ2 基于嵌入的个性化在保真度和可编辑性方面，与基于标题/图像提示的基线相比如何？
• RQ3 扩展嵌入空间、渐进式或逐图标记以及正则化在重建质量与泛化中的作用是什么？
• RQ4 在不重新训练基础模型的情况下，学习到的伪词能否用于风格迁移、概念组合或偏见降低？
• RQ5 在复杂关系提示中组合多个伪词的局限性是什么？

主要发现

• 单个伪词嵌入可以捕捉独特概念，并在提示中支持多样化的组合。
• 伪词在视觉保真度方面高于基于标题或判别基线。
• 受 GAN 反演启发的扩展（多词、渐进更新、正则化）在基于文本的基础上提供的改进有限或没有明显收益。
• 嵌入可以在小型精选数据集上用于风格迁移、多个概念的组合以及偏见降低。
• 学习到的伪词可以与下游模型如 Blended Latent Diffusion 集成以实现局部编辑。
• 该方法促进图像变体、文本引导的合成，以及抽象概念表示（如风格）期望实现。