[论文解读] LOVECon: Text-driven Training-Free Long Video Editing with ControlNet

Zhenyi Liao, Zhijie Deng|arXiv (Cornell University)|Oct 15, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

LOVECon 提出了一种无需训练、基于文本的长视频编辑框架，采用 ControlNet 技术，通过将视频分割为窗口并引入跨窗口注意力机制，实现长达 128 帧视频的高保真编辑。该方法通过 DDIM 反演保留内容完整性，并利用帧插值减少闪烁现象，在各类编辑任务中均优于基线模型，在时间一致性与视觉质量方面表现更优。

ABSTRACT

Leveraging pre-trained conditional diffusion models for video editing without further tuning has gained increasing attention due to its promise in film production, advertising, etc. Yet, seminal works in this line fall short in generation length, temporal coherence, or fidelity to the source video. This paper aims to bridge the gap, establishing a simple and effective baseline for training-free diffusion model-based long video editing. As suggested by prior arts, we build the pipeline upon ControlNet, which excels at various image editing tasks based on text prompts. To break down the length constraints caused by limited computational memory, we split the long video into consecutive windows and develop a novel cross-window attention mechanism to ensure the consistency of global style and maximize the smoothness among windows. To achieve more accurate control, we extract the information from the source video via DDIM inversion and integrate the outcomes into the latent states of the generations. We also incorporate a video frame interpolation model to mitigate the frame-level flickering issue. Extensive empirical studies verify the superior efficacy of our method over competing baselines across scenarios, including the replacement of the attributes of foreground objects, style transfer, and background replacement. Besides, our method manages to edit videos comprising hundreds of frames according to user requirements. Our project is open-sourced and the project page is at https://github.com/zhijie-group/LOVECon.

研究动机与目标

• 为解决现有无需训练的扩散模型在长视频编辑中时间连贯性、风格一致性及源视频保真度方面的局限性。
• 通过将视频分割为连续窗口，在计算内存受限条件下实现对长视频（最长 128 帧）的有效编辑。
• 在不微调预训练模型的前提下，保持窗口间全局风格一致性与局部细节保真度。
• 通过视频帧插值模型对潜在状态进行优化，减少帧级闪烁，提升编辑后长视频的视觉平滑度。
• 为电影与广告等实际视频编辑应用提供一种简单、高效且易用的基线方案。

提出的方法

• 该方法将长视频分割为连续的时间窗口，以应对推理阶段的计算内存限制。
• 提出一种新颖的跨窗口注意力机制，通过跨窗口边界关注，强制实现视频窗口间全局风格与内容的一致性。
• 对源视频应用 DDIM 反演以提取潜在表征，随后将这些表征融合进生成帧的潜在状态中，以保持未编辑内容的结构保真度。
• 在生成流程的后期阶段集成视频帧插值模型，以优化潜在状态，减少帧级闪烁与视觉伪影。
• 该流程基于 Stable Diffusion 与 ControlNet 构建，利用文本提示实现条件化编辑，无需任何微调。
• 该方法在保持与现有扩散模型兼容性的同时，扩展了其在长视频编辑中的能力。

实验结果

研究问题

• RQ1 基于无需训练的扩散模型方法是否能在保留时间连贯性与视觉质量的前提下，实现对长达 128 帧长视频的高保真编辑？
• RQ2 跨窗口注意力机制在不使用全帧注意力的情况下，对保持窗口间全局风格与内容一致性有多大的有效性？
• RQ3 基于 DDIM 反演的潜在特征融合在多大程度上提升了结构保真度并减少了编辑过程中的非预期内容变化？
• RQ4 帧插值是否能显著减少闪烁现象并提升长视频编辑的帧级平滑度？
• RQ5 与现有基于 ControlNet 的基线方法相比，该方法在用户感知质量与 CLIP 基准指标上的表现如何？

主要发现

• LOVECon 可成功编辑长达 128 帧的视频，显著扩展了现有无需训练的扩散模型在视频编辑中的长度能力。
• 跨窗口注意力机制在计算成本显著降低的前提下，实现了与全帧注意力相近的性能表现。
• 消融实验表明，帧插值能有效减少闪烁现象，最终输出中可见的颜色与细节不一致问题已被消除。
• 该方法在 CLIP 基准指标与用户评估中均优于竞争性基线，展现出更优的帧一致性与与源视频的结构相似性。
• 基于 DDIM 反演的潜在特征融合确保未编辑内容保持结构忠实，最大限度减少了非预期修改。
• 定性结果表明，该方法在多种场景下均实现了稳定且高保真的编辑效果，包括属性替换、风格迁移与背景编辑。