Skip to main content
QUICK REVIEW

[论文解读] ELITE: Encoding Visual Concepts into Textual Embeddings for Customized Text-to-Image Generation

Yuxiang Wei, Yabo Zhang|arXiv (Cornell University)|Feb 27, 2023
Video Analysis and SummarizationComputer Science被引用 7
一句话总结

ELITE 训练一个结合全局与局部映射网络的学习型编码器,将视觉概念转化为文本嵌入,从而使用预训练扩散模型实现快速、准确、可编辑的定制文本到图像生成。

ABSTRACT

In addition to the unprecedented ability in imaginary creation, large text-to-image models are expected to take customized concepts in image generation. Existing works generally learn such concepts in an optimization-based manner, yet bringing excessive computation or memory burden. In this paper, we instead propose a learning-based encoder, which consists of a global and a local mapping networks for fast and accurate customized text-to-image generation. In specific, the global mapping network projects the hierarchical features of a given image into multiple new words in the textual word embedding space, i.e., one primary word for well-editable concept and other auxiliary words to exclude irrelevant disturbances (e.g., background). In the meantime, a local mapping network injects the encoded patch features into cross attention layers to provide omitted details, without sacrificing the editability of primary concepts. We compare our method with existing optimization-based approaches on a variety of user-defined concepts, and demonstrate that our method enables high-fidelity inversion and more robust editability with a significantly faster encoding process. Our code is publicly available at https://github.com/csyxwei/ELITE.

研究动机与目标

  • 从少量概念图像中实现快速且准确的定制文本到图像生成。
  • 用学习型编码器替代基于优化的概念学习。
  • 利用多层 CLIP 特征创建鲁棒且可编辑的主概念词。
  • 整合局部映射网络,在不损失可编辑性的前提下注入细粒度的位置信息。
  • 相对于现有方法,展示更高速度以及有竞争力的保真度/可编辑性。

提出的方法

  • 使用一个预训练的 CLIP 图像编码器从概念图像中提取分层特征。
  • 训练全局映射网络,从 CLIP 特征生成多个词嵌入,形成主词和用于干扰的辅助词。
  • 训练局部映射网络,将前景细节编码到文本特征空间,并通过交叉注意力注入以保持局部细节。
  • 通过交叉注意力投影将全局与局部嵌入附加到 Stable Diffusion,以引导生成,仅使用主词进行编辑。
  • 用扩散损失和嵌入的 L1 正则化的组合进行优化(L_global = L_LDM + lambda_global ||v||_1; L_local = L_LDM + lambda_local ||V^l||_1)。
  • 推理阶段,使用主词 w0 生成概念,并在需要时融合局部细节以提升保真度。

实验结果

研究问题

  • RQ1一个编码器是否能比基于优化的方法更快地学习将视觉概念映射到可编辑的文本嵌入?
  • RQ2多层多词全局映射是否比单词嵌入在可编辑性和保真度上有提升?
  • RQ3局部映射网络能否在不损害编辑主概念能力的前提下注入细粒度细节?
  • RQ4与现有方法相比,ELITE 在速度、文本对齐和图像对齐方面表现如何?

主要发现

  • ELITE 实现了快速的概念编码,约在 0.05 秒内完成,而优化方法需要数分钟。
  • 使用多层、多词的全局映射比单层或单词变体带来更可编辑的主词和更高的概念保真度。
  • 引入局部映射网络能在保持可编辑性的同时改善局部细节的一致性。
  • ELITE 在文本对齐和图像对齐方面具有竞争力,同时与 Textual Inversion、DreamBooth 和 Custom Diffusion 相比,编码时间显著更快。
  • 用户研究表明在编辑对齐和总体满意度方面,用户更偏好 ELITE,同时在图像级保真度方面与竞争方法保持相当。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。