[论文解读] A Neural Space-Time Representation for Text-to-Image Personalization

Yuval Alaluf, Elad Richardson+2 more|arXiv (Cornell University)|May 24, 2023

Computer Graphics and Visualization Techniques被引用 6

一句话总结

该论文提出 NeTI，一种用于文本到图像个性化生成的神经时空表征方法，通过小型神经映射器隐式建模去噪过程中各时间步与 U-Net 层上的概念嵌入。通过同时依赖时间与空间进行条件控制，并引入文本旁路机制，NeTI 实现了无需微调生成模型的高保真、可编辑图像生成，在视觉质量和编辑控制方面优于先前方法。

ABSTRACT

A key aspect of text-to-image personalization methods is the manner in which the target concept is represented within the generative process. This choice greatly affects the visual fidelity, downstream editability, and disk space needed to store the learned concept. In this paper, we explore a new text-conditioning space that is dependent on both the denoising process timestep (time) and the denoising U-Net layers (space) and showcase its compelling properties. A single concept in the space-time representation is composed of hundreds of vectors, one for each combination of time and space, making this space challenging to optimize directly. Instead, we propose to implicitly represent a concept in this space by optimizing a small neural mapper that receives the current time and space parameters and outputs the matching token embedding. In doing so, the entire personalized concept is represented by the parameters of the learned mapper, resulting in a compact, yet expressive, representation. Similarly to other personalization methods, the output of our neural mapper resides in the input space of the text encoder. We observe that one can significantly improve the convergence and visual fidelity of the concept by introducing a textual bypass, where our neural mapper additionally outputs a residual that is added to the output of the text encoder. Finally, we show how one can impose an importance-based ordering over our implicit representation, providing users control over the reconstruction and editability of the learned concept using a single trained model. We demonstrate the effectiveness of our approach over a range of concepts and prompts, showing our method's ability to generate high-quality and controllable compositions without fine-tuning any parameters of the generative model itself.

研究动机与目标

• 解决现有文本到图像个性化方法在静态、低维空间（如 $\mathcal{P}$ 或 $\mathcal{P}^+$）中表示概念的局限性，这些方法限制了视觉保真度与可编辑性。
• 探索一个更丰富的、与时间与网络层相关的条件空间 $\mathcal{P}^*$，以捕捉扩散模型去噪过程中概念的动态特性。
• 开发一种隐式神经表征（NeTI），通过小型映射网络紧凑地编码 $\mathcal{P}^*$ 空间中的概念，避免直接优化数百个向量。
• 通过引入文本旁路机制，将残差向量添加到文本编码器输出，提升表示能力，从而改善收敛速度与视觉保真度。
• 通过重要性排序与丢弃调度策略，在推理阶段实现对重建质量与可编辑性之间权衡的动态控制。

提出的方法

• 提出 $\mathcal{P}^*$，一个时空条件空间，其中每个概念嵌入由去噪时间步 $t$ 与 U-Net 层 $\ell$ 的所有组合所定义的向量构成。
• 提出 NeTI，一种神经映射网络，以 $t$ 与 $\ell$ 作为输入，输出 $\mathcal{P}$ 中的对应嵌入，隐式表征整个 $\mathcal{P}^*$ 空间。
• 采用文本旁路机制，使映射器同时输出一个残差向量并添加到文本编码器输出，提升表示能力，且不改变编码器结构。
• 在映射器的隐藏表示上使用基于丢弃的重要性排序，以实现在推理阶段对重建质量与可编辑性的动态控制。
• 通过标准优化方式训练映射器，类似于 Textual Inversion，但在更丰富的 $\mathcal{P}^*$ 空间中进行，实现高保真度的概念注入。
• 进行消融实验以验证联合时间与空间条件控制的必要性，并分析概念学习在不同时间步上的演化过程。

实验结果

研究问题

• RQ1 联合时空表征（$\mathcal{P}^*$）是否能通过同时依赖去噪时间步与 U-Net 层，提升文本到图像个性化中的视觉保真度与可编辑性？
• RQ2 是否可行通过小型神经映射器隐式表征高维的 $\mathcal{P}^*$ 空间，从而避免直接优化数百个向量？
• RQ3 引入文本旁路机制（即向文本编码器输出添加残差）是否能显著提升收敛速度与视觉质量？
• RQ4 在映射器隐藏表示上基于重要性的排序是否能实现在推理阶段对重建-可编辑性权衡的动态控制？
• RQ5 在 NeTI 框架中，特定概念的细节如何在不同去噪时间步中逐步显现？

主要发现

• NeTI 在 5 分制的忠实度与提示遵循度评分中达到平均 3.97 分，显著优于 Textual Inversion（2.77）、XTI（3.15）与 DreamBooth（3.71）。
• 时间与空间联合条件控制至关重要：消融实验表明，仅依赖单一或不依赖任一因子的模型，其视觉保真度显著降低。
• 文本旁路机制提升了收敛速度与视觉质量，使 NeTI 在无需微调生成模型的前提下，达到与 DreamBooth 等微调方法相当的保真度。
• 逐时间步分析显示，早期去噪阶段（$t=999$）捕捉结构与颜色等粗粒度特征，而后期阶段（$t=50$）则逐步添加纹理与雕刻等细粒度细节。
• 推理阶段采用基于重要性的丢弃调度策略，可实现对重建质量与可编辑性之间权衡的动态控制，更强的丢弃策略产生更抽象、更易编辑的表示。
• NeTI 实现了在多样化提示下对个性化概念的高质量、可控组合生成，包括复杂风格如 'a painting of a medieval castle in the style of $S_*$' 与 'a Pokemon in the style of $S_*$'。