[论文解读] DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors

Jinbo Xing, Menghan Xia+7 more|arXiv (Cornell University)|Oct 18, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

DynamiCrafter 提出了一种新颖的方法，通过双流注入机制利用视频扩散先验，实现开放域图像的动画化：一条流使用与文本对齐的上下文特征以实现语义运动理解，另一条流则将完整图像与噪声结合以保留视觉细节。该方法在运动自然度、图像保真度和文本引导的运动控制方面优于现有方法。

ABSTRACT

Animating a still image offers an engaging visual experience. Traditional image animation techniques mainly focus on animating natural scenes with stochastic dynamics (e.g. clouds and fluid) or domain-specific motions (e.g. human hair or body motions), and thus limits their applicability to more general visual content. To overcome this limitation, we explore the synthesis of dynamic content for open-domain images, converting them into animated videos. The key idea is to utilize the motion prior of text-to-video diffusion models by incorporating the image into the generative process as guidance. Given an image, we first project it into a text-aligned rich context representation space using a query transformer, which facilitates the video model to digest the image content in a compatible fashion. However, some visual details still struggle to be preserved in the resultant videos. To supplement with more precise image information, we further feed the full image to the diffusion model by concatenating it with the initial noises. Experimental results show that our proposed method can produce visually convincing and more logical & natural motions, as well as higher conformity to the input image. Comparative evaluation demonstrates the notable superiority of our approach over existing competitors.

研究动机与目标

• 实现超越特定领域或随机运动类型的开放域图像高保真动画化。
• 克服现有文本到视频模型在图像动画过程中图像细节保留和时序连贯性方面的局限性。
• 探索使用文本提示控制图像动画中的运动动力学，实现语义运动引导。
• 开发一种双流图像注入机制，平衡语义理解与视觉细节保留。
• 证明使用预训练视频扩散模型在极少架构修改下实现通用图像动画的可行性。

提出的方法

• 通过预训练的 CLIP 图像编码器，使用查询变换器网络将输入图像映射到与文本对齐的丰富上下文表征空间。
• 通过跨注意力层中的门控融合，将上下文表征与文本条件特征融合，以引导运动生成。
• 第二条流通过将输入图像与初始噪声拼接，注入完整图像，提供精确的视觉细节监督。
• 在推理过程中应用多条件无分类器引导，分别控制图像保真度（s_img）和文本提示遵循度（s_txt）。
• 该方法利用微调后的预训练 LatentVDM 模型进行图像动画，运行于潜在空间以提升效率。
• 双流设计使语义上下文与像素级细节得以互补使用，从而生成更连贯、更忠实的视频。

实验结果

研究问题

• RQ1 视频扩散模型能否有效适配于任意开放域图像的动画化，同时保留视觉细节？
• RQ2 如何联合优化图像和文本条件，以生成合理且语义一致的运动？
• RQ3 不同的图像注入策略对运动质量和图像一致性有何影响？
• RQ4 能否使用文本提示控制图像动画中的特定运动类型（例如：跳舞、挥手）？
• RQ5 与单流或简单图像注入相比，双流注入机制在视觉保真度和时序连贯性方面表现如何？

主要发现

• 与 VideoComposer、I2VGen-XL、PikaLabs 和 Gen-2 等最先进方法相比，DynamiCrafter 在定性比较和用户研究中均展现出更优的视觉质量和运动自然度。
• 该方法保持了高图像保真度，即使在复杂场景中也极少出现失真，且能有效保留局部视觉细节。
• 用户研究表明，DynamiCrafter 生成的动画在运动合理性与图像一致性方面评分显著高于基线方法。
• 双流注入机制在语义运动生成与视觉细节保留之间实现了更优的平衡，优于单流基线方法。
• 调节引导尺度 s_img 和 s_txt 可灵活控制图像保真度与提示遵循度，从而通过文本实现有效的运动控制。
• 尽管在处理模糊语义或复杂运动描述方面仍存在局限，该方法在多样化的开放域图像（包括人脸和复杂物体）上表现出强大的性能。