[论文解读] MagicProp: Diffusion-based Video Editing via Motion-aware Appearance Propagation

Hanshu Yan, Jun Hao Liew+3 more|arXiv (Cornell University)|Sep 2, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用 3

一句话总结

MagicProp 是一种基于扩散模型的视频编辑框架，将编辑过程解耦为外观编辑与运动感知的外观传播两步。它利用通过图像扩散模型编辑过的参考帧，并通过一个整合了运动线索和参考外观的条件扩散模型（PropDPM）自回归地生成后续帧，从而在保持高度时间一致性的同时，实现低伪影的灵活区域编辑。

ABSTRACT

This paper addresses the issue of modifying the visual appearance of videos while preserving their motion. A novel framework, named MagicProp, is proposed, which disentangles the video editing process into two stages: appearance editing and motion-aware appearance propagation. In the first stage, MagicProp selects a single frame from the input video and applies image-editing techniques to modify the content and/or style of the frame. The flexibility of these techniques enables the editing of arbitrary regions within the frame. In the second stage, MagicProp employs the edited frame as an appearance reference and generates the remaining frames using an autoregressive rendering approach. To achieve this, a diffusion-based conditional generation model, called PropDPM, is developed, which synthesizes the target frame by conditioning on the reference appearance, the target motion, and its previous appearance. The autoregressive editing approach ensures temporal consistency in the resulting videos. Overall, MagicProp combines the flexibility of image-editing techniques with the superior temporal consistency of autoregressive modeling, enabling flexible editing of object types and aesthetic styles in arbitrary regions of input videos while maintaining good temporal consistency across frames. Extensive experiments in various video editing scenarios demonstrate the effectiveness of MagicProp.

研究动机与目标

• 解决在实现灵活区域化视频编辑的同时保持时间一致性的挑战。
• 将视频编辑解耦为两个阶段：外观编辑与运动感知传播，以平衡灵活性与一致性。
• 利用强大的图像编辑技术，实现对任意区域（前景、背景或全局）的编辑。
• 开发一种条件扩散模型，以在帧间保持外观保真度与运动一致性。
• 克服现有方法在可编辑性与一致性之间权衡的局限性。

提出的方法

• 从输入视频中选取单个参考帧，并应用图像编辑技术（例如文本提示、语义分割掩码）修改其内容或风格。
• 使用自回归扩散模型 PropDPM，基于参考帧、运动序列（例如深度图）以及前一帧来生成剩余帧。
• 设计一个轻量级外观适配器，将参考帧中的类别级（CLIP）与像素级（VAE）特征注入扩散模型的交叉注意力层。
• 采用零终端信噪比（SNR）训练策略，对齐训练与推理阶段的噪声调度，减少色彩偏移并提升视觉质量。
• 在 WebVid-10M 与一个私有的高分辨率视频数据集组合上训练 PropDPM，使用三元组帧（参考帧、前一帧、目标帧）进行自回归学习。
• 利用深度图、语义分割掩码等控制信号引导精确的空间编辑，同时保持运动一致性。

Figure 1: Video editing via MagicProp: global, background, and foreground editing are all supported.

实验结果

研究问题

• RQ1 结合图像编辑与自回归扩散的两阶段框架，能否在视频编辑中同时实现高可编辑性与强时间一致性？
• RQ2 基于参考外观与运动线索的扩散模型，在帧间能否有效保持视觉保真度？
• RQ3 零终端 SNR 训练策略在多大程度上改善了生成帧与参考帧之间的色彩与风格对齐？
• RQ4 所提出的外观适配器在多大程度上有效融合了语义与像素级特征，以指导精确的外观迁移？
• RQ5 采用自回归扩散方法时，可编辑视频长度的上限是多少，仍能保持可接受的视觉质量？

主要发现

• MagicProp 在复杂编辑任务（如多对象处理或风格迁移）中仍能实现高质量的视频编辑，并保持强时间一致性。
• 零终端 SNR 训练策略显著减少了色彩偏移伪影，相比标准 DDPM 噪声调度，视觉保真度明显提升。
• 外观适配器有效融合了基于 CLIP 的语义标记与基于 VAE 的像素特征，实现了对生成帧的精确外观迁移。
• 该框架支持通过文本提示或分割掩码对任意区域（前景、背景或全局）进行灵活编辑。
• 该方法在长达 30 帧的视频中保持了高视觉质量；超过此长度后，由于自回归误差累积，出现过度平滑与伪影等退化现象。
• 大量实验表明，MagicProp 在可编辑性与时间连贯性方面均优于现有的基于图像与序列的视频编辑方法。

Figure 2: The pipeline of MagicProp.