[论文解读] Interpolating between Images with Diffusion Models

Clinton Wang, Polina Golland|arXiv (Cornell University)|Jul 24, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用 3

一句话总结

本文提出一种基于预训练潜在扩散模型的零样本图像插值方法，能够在风格、构图和主体多样的真实图像之间实现高质量、语义一致的过渡。通过在递减的噪声水平下于潜在空间中插值，并结合插值后的文本嵌入和可选的姿态引导，该方法生成视觉连贯的序列，其表现优于FID和PPL等标准指标，后者更偏好简单的透明度混合而非具有创造性的语义变换。

ABSTRACT

One little-explored frontier of image generation and editing is the task of interpolating between two input images, a feature missing from all currently deployed image generation pipelines. We argue that such a feature can expand the creative applications of such models, and propose a method for zero-shot interpolation using latent diffusion models. We apply interpolation in the latent space at a sequence of decreasing noise levels, then perform denoising conditioned on interpolated text embeddings derived from textual inversion and (optionally) subject poses. For greater consistency, or to specify additional criteria, we can generate several candidates and use CLIP to select the highest quality image. We obtain convincing interpolations across diverse subject poses, image styles, and image content, and show that standard quantitative metrics such as FID are insufficient to measure the quality of an interpolation. Code and data are available at https://clintonjwang.github.io/interpolation.

研究动机与目标

• 实现对风格、内容和构图差异显著的真实图像之间高质量、语义一致的插值，这是当前图像生成流程所缺乏的能力。
• 解决现有插值方法在真实图像（尤其是人脸等有限领域之外）中缺乏用户控制和一致性的问题。
• 开发一种无需微调即可利用预训练潜在扩散模型的方法，实现跨多样化图像对的零样本部署。
• 证明标准指标如FID和PPL无法捕捉插值中的感知质量和创造性，因而需要新的评估范式。

提出的方法

• 在扩散过程的多个噪声水平下对两幅输入图像的潜在表征进行插值，使用均匀或非均匀调度以控制感知过渡速度。
• 将去噪U-Net模型的输入条件设为通过文本反转生成的插值文本嵌入，以确保帧间语义一致性。
• 可选地引入主体姿态嵌入，以在变换过程中保持结构连贯性，尤其适用于人物或类人主体。
• 对每帧生成多个候选插值结果，使用CLIP相似度与目标提示进行比较，选择质量最高的输出。
• 采用多阶段去噪策略——在中间时间步进行插值并迭代去噪——以提升平滑度和语义保真度。
• 在插值前对潜在表示应用仿射变换，以模拟缩放或平移等运动效果，从而将方法扩展至类似视频的序列。

Figure 2: Our pipeline. To generate a new frame, we interpolate the noisy latent images of two existing frames (Section 4.1 ). Text prompts and (if applicable) poses are extracted from the original input images, and interpolated to provide to the denoiser as conditioning inputs (Section 4.2 and 4.3

实验结果

研究问题

• RQ1 潜在扩散模型是否能在不微调的情况下，生成在风格和构图差异显著的真实图像之间具有高质量、语义一致性的插值？
• RQ2 对插值文本和姿态嵌入的条件化如何影响图像插值的质量与一致性？
• RQ3 为何标准指标如FID和PPL在图像插值任务中无法与人类偏好保持相关性？
• RQ4 多阶段去噪与基于CLIP的候选选择是否能提升插值的视觉质量和连贯性？
• RQ5 插值调度选择（均匀 vs. 非均匀）如何影响感知平滑度及用户对过渡动态的感知？

主要发现

• 所提方法在多样化图像对之间生成了视觉上令人信服的插值结果，包括人物到山脉、卡通到写实风格、不同姿态之间的过渡，即使语义差异显著亦能实现。
• 采用共享噪声与多阶段去噪（加噪-插值-去噪）的插值方式在PPL上达到最高值（193 ± 27），且在主观评价中更受青睐，尽管其在FID指标上并非最优。
• FID与PPL指标更偏好类似透明度混合的简单插值方式，此类结果更具突兀性且缺乏创造性，表明当前指标不足以评估插值质量。
• 基于CLIP的候选选择显著提升了输出质量，通过过滤低相似度或不一致的帧，增强了语义连贯性。
• 非均匀插值调度能更好地控制感知速度，尤其在靠近输入图像处发生快速风格变化时，提升了用户对过渡动态的控制能力。
• 该方法在极端风格不匹配或复杂物体重组情况下偶尔无法泛化，即使使用姿态引导，仍可能出现多余文本插入或身体部位错位等问题。

Figure 3: Pose conditioning mitigates the occurrence of abrupt pose changes between adjacent frames, even when the predicted pose is incorrect.