[论文解读] Imagen Video: High Definition Video Generation with Diffusion Models

Jonathan Ho, William Chan+9 more|arXiv (Cornell University)|Oct 5, 2022

Generative Adversarial Networks and Image Synthesis被引用 346

一句话总结

Imagen Video 使用级联扩散模型来生成高清、文本条件的视频，具空间和时间超分辨率，通过渐进蒸馏与无分类器引导实现快速、高质量采样。

ABSTRACT

We present Imagen Video, a text-conditional video generation system based on a cascade of video diffusion models. Given a text prompt, Imagen Video generates high definition videos using a base video generation model and a sequence of interleaved spatial and temporal video super-resolution models. We describe how we scale up the system as a high definition text-to-video model including design decisions such as the choice of fully-convolutional temporal and spatial super-resolution models at certain resolutions, and the choice of the v-parameterization of diffusion models. In addition, we confirm and transfer findings from previous work on diffusion-based image generation to the video generation setting. Finally, we apply progressive distillation to our video models with classifier-free guidance for fast, high quality sampling. We find Imagen Video not only capable of generating videos of high fidelity, but also having a high degree of controllability and world knowledge, including the ability to generate diverse videos and text animations in various artistic styles and with 3D object understanding. See https://imagen.research.google/video/ for samples.

研究动机与目标

• 展示用于高清文本到视频生成的级联扩散方法。
• 展示文本条件化和冻结文本编码器如何从图像生成迁移到视频生成。
• 研究扩散参数化、条件增强，以及渐进式蒸馏在视频采样效率中的作用。
• 评估模型在视频生成中的可控性、3D理解能力以及多样的艺术风格。

提出的方法

• 采用由七个扩散子模型组成的级联（基础视频模型加上三个空间SR和三个时间SR模型），以在24 fps生成1280x768的视频。
• 使用冻结的 T5-XXL 文本编码器对所有扩散模型进行输入文本的条件化。
• 对所有模型采用 v-prediction 参数化，以提高稳定性并减少颜色伪影。
• 在图像-文本和视频-文本数据上联合训练所有模型，将图像视为单帧视频以扩展数据集规模。
• 应用无分类器引导以提高与文本提示的一致性，其中包括诸如动态裁剪和振荡引导等技术来控制伪影。
• 利用渐进蒸馏以减少采样步骤并加速生成，从而实现显著更快采样的蒸馏管线。

实验结果

研究问题

• RQ1 分级扩散模型从文本提示生成高清、时间上连贯的视频的能力如何？
• RQ2 参数化方式（v-prediction 与 epsilon-prediction）对高分辨率视频样本质量与稳定性的影响如何？
• RQ3 在图像与视频上的联合训练是否能提升视频质量并实现风格与3D理解的迁移？
• RQ4 渐进蒸馏在提供快速且高质量的带引导的视频样本方面有多有效？

主要发现

• 该模型以24 fps生成高保真1280x768视频（5.3秒，128帧），具有强烈的时序连贯性且与提示对齐。
• 扩展基础视频模型的参数规模可持续提高 FVD 和 CLIP 分数，表明参数量增多的好处。
• 在高分辨率下，v-prediction 优于 epsilon-prediction，降低颜色偏移并加速收敛。
• 蒸馏级联实现约18x更快的采样，感知质量相似，FLOPs约少36倍，相较原始级联。
• 联合图像-视频训练提升视频质量，并实现风格与类似3D理解的迁移。
• 无分类器引导显著改善提示对齐和样本质量；振荡引导在采样过程中缓解饱和伪影。