[论文解读] Dreamix: Video Diffusion Models are General Video Editors

Eyal Molad, Eliahu Horwitz+6 more|arXiv (Cornell University)|Feb 2, 2023

Generative Adversarial Networks and Image Synthesis被引用 43

一句话总结

Dreamix 引入了一个基于扩散模型的文本引导视频编辑器，在保持对原始视频保真度的同时，能够进行外观和运动编辑，通过对视频帧和降质输入视频进行混合微调实现。它还支持图像动画和以主体驱动的视频生成。

ABSTRACT

Text-driven image and video diffusion models have recently achieved unprecedented generation realism. While diffusion models have been successfully applied for image editing, very few works have done so for video editing. We present the first diffusion-based method that is able to perform text-based motion and appearance editing of general videos. Our approach uses a video diffusion model to combine, at inference time, the low-resolution spatio-temporal information from the original video with new, high resolution information that it synthesized to align with the guiding text prompt. As obtaining high-fidelity to the original video requires retaining some of its high-resolution information, we add a preliminary stage of finetuning the model on the original video, significantly boosting fidelity. We propose to improve motion editability by a new, mixed objective that jointly finetunes with full temporal attention and with temporal attention masking. We further introduce a new framework for image animation. We first transform the image into a coarse video by simple image processing operations such as replication and perspective geometric projections, and then use our general video editor to animate it. As a further application, we can use our method for subject-driven video generation. Extensive qualitative and numerical experiments showcase the remarkable editing ability of our method and establish its superior performance compared to baseline methods.

研究动机与目标

• 使用视频扩散模型，对真实世界视频进行一般的基于文本的外观和运动编辑。
• 通过结合完整时间注意力和时间注意力屏蔽的混合微调策略，提升运动编辑的可编辑性。
• 提出一个图像转视频的动画框架，通过将图像转换为粗略视频并使用 Dreamix 编辑器进行编辑。
• 通过对一组主体图像进行微调以实现引导性视频生成，来演示主体驱动的视频生成。

提出的方法

• 使用级联视频扩散模型（Imagen-Video 基础）在文本提示和降质输入视频的条件下生成高分辨率的编辑视频。
• 通过下采样并添加噪声来损坏输入视频，然后在提示条件下反向扩散过程以实现文本引导的编辑（对损坏的反演）。
• 引入混合微调，在输入视频（外观和运动）以及一个无序帧集合上同时进行优化，采用掩蔽的时间注意力以在保留逐桢细节的同时实现运动编辑。
• 以两个目标进行训练：L_vid 在给定嘈杂降质输入时重建输入视频，以及 L_frame 在带有掩蔽时间注意力（D^a）的情况下重建单个帧。
• 通过将图像通过复制或透视变换等方法生成粗略视频，然后应用 Dreamix 编辑以获得高质量的编辑后视频，提供一个图像到视频的工作流。
• 通过对一组主体图像进行微调，使用一个特殊标记 t*，并结合文本提示进行生成来实现主体驱动的视频生成。

实验结果

研究问题

• RQ1 一个文本引导的视频扩散模型能否在保持对原始视频的保真度的同时同时编辑外观和运动？
• RQ2 与仅视频微调或无微调相比，混合微调是否能显著提升运动编辑性和整体编辑质量？
• RQ3 Dreamix 框架是否可以扩展到图像动画和主体驱动的视频生成？
• RQ4 用于高质量视频编辑的扩散模型有哪些权衡与需求（如超参数、计算成本）？

主要发现

• Dreamix 实现了对真实世界视频的通用文本驱动的外观和运动编辑，并且改善了时间一致性。
• 与非混合微调或仅视频微调相比，采用带掩蔽时间注意力的混合微调显著改善运动编辑并保留背景细节。
• Dreamix 提供了一个通过将图像转换为粗略视频并用 Dreamix 编辑器进行编辑来实现图像动画的框架。
• 通过对一组主体图像进行微调并以文本提示进行条件生成，可以实现主体驱动的视频生成。
• 相较于基线，Dreamix 在用户评价的质量、保真度和提示对齐方面表现更高，成功率为 73%，而 ImgenVid 为 40%，PnP 为 15%。
• 定量基线显示 Dreamix 在时间一致性和保真度方面超过逐帧编辑方法。