[论文解读] FreeNoise: Tuning-Free Longer Video Diffusion via Noise Rescheduling

Haonan Qiu, Menghan Xia+5 more|arXiv (Cornell University)|Oct 23, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

FreeNoise 提出了一种无需调优、计算效率高的方法，通过重新调度初始噪声以建立长程时间相关性，并实现基于窗口的注意力融合，从而从预训练的扩散模型生成高保真长视频。此外，该方法引入了运动注入机制，可在无需微调的情况下支持多文本条件控制，仅增加17%的推理时间，显著低于先前方法255%的开销，实现了当前最优的视频质量。

ABSTRACT

With the availability of large-scale video datasets and the advances of diffusion models, text-driven video generation has achieved substantial progress. However, existing video generation models are typically trained on a limited number of frames, resulting in the inability to generate high-fidelity long videos during inference. Furthermore, these models only support single-text conditions, whereas real-life scenarios often require multi-text conditions as the video content changes over time. To tackle these challenges, this study explores the potential of extending the text-driven capability to generate longer videos conditioned on multiple texts. 1) We first analyze the impact of initial noise in video diffusion models. Then building upon the observation of noise, we propose FreeNoise, a tuning-free and time-efficient paradigm to enhance the generative capabilities of pretrained video diffusion models while preserving content consistency. Specifically, instead of initializing noises for all frames, we reschedule a sequence of noises for long-range correlation and perform temporal attention over them by window-based function. 2) Additionally, we design a novel motion injection method to support the generation of videos conditioned on multiple text prompts. Extensive experiments validate the superiority of our paradigm in extending the generative capabilities of video diffusion models. It is noteworthy that compared with the previous best-performing method which brought about 255% extra time cost, our method incurs only negligible time cost of approximately 17%. Generated video samples are available at our website: http://haonanqiu.com/projects/FreeNoise.html.

研究动机与目标

• 解决现有视频扩散模型在短视频片段上进行训练，但在推理阶段无法生成高保真长视频的局限性。
• 在无需微调的情况下实现多文本条件控制的视频生成，支持随时间动态变化的内容。
• 开发一种方法，在增强长视频生成能力的同时保持内容一致性并最小化计算开销。
• 探究初始噪声在时间建模中的作用及其对视频生成质量的影响。

提出的方法

• 提出 FreeNoise，一种无需调优的范式，通过重新调度固定随机噪声帧序列，以建立长程时间相关性，实现更长视频的生成。
• 引入局部噪声打乱（Local Noise Shuffling），生成具有内部随机性与长程一致性的噪声序列，从而在延长视频长度下保持内容一致性。
• 采用基于窗口的注意力融合机制，通过应用重叠的时间窗口，使预训练的时间注意力模块能够处理更长序列，且对其他模型组件无额外计算开销。
• 设计运动注入机制，通过在特定去噪步骤注入新的运动线索，支持多提示的视频生成，且与物体形状恢复阶段对齐。
• 采用两阶段去噪策略：第一阶段由首个提示控制布局与物体形状，第二阶段在后续步骤中注入第二个提示以引入运动变化。
• 将该方法应用于多个预训练模型（VideoCrafter、AnimateDiff、LaVie）而无需任何微调，确保方法的广泛适用性与高效性。

实验结果

研究问题

• RQ1 初始噪声分布如何影响扩散模型在长视频生成中的质量与一致性？
• RQ2 噪声重调度是否能在不进行微调或显著增加计算成本的情况下实现更长视频的生成？
• RQ3 如何有效整合多文本条件以支持视频扩散模型中的动态场景切换？
• RQ4 在何时以及在何种层注入新的运动线索，才能在保持视觉一致性的同时实现平滑过渡？
• RQ5 基于窗口的注意力机制是否能扩展预训练时间模块的感受野，同时不引入额外推理开销？

主要发现

• FreeNoise 在长视频生成中实现了最先进水平的视频质量，仅增加17%的推理时间，而此前最佳方法的开销为255%。
• 消融实验表明，噪声重调度中步长为4时，可在不使推理成本翻倍的前提下提供足够的内容一致性。
• 运动注入成功实现了单个视频中动作之间的平滑过渡（例如从跑步变为站立），且视觉伪影极少。
• 即使在注入新运动时，该方法仍能保持主要主体（如马匹、碗）在长视频序列中的外观一致性。
• 基于窗口的注意力融合使模型能够仅使用原始预训练的时间注意力模块，处理任意长度的视频。
• 该方法在长距离帧之间保持了内容一致性，经多个基准测试的定性和定量结果验证。