[论文解读] Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Models

Hyeonho Jeong, Jong Chul Ye|arXiv (Cornell University)|Oct 2, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

Ground-A-Video 提出了一种无需训练、零样本的视频编辑框架，通过整合空间离散的定位信息（带字幕的边界框）和空间连续的条件（光流图与深度图），实现精确且时序一致的多属性编辑。该方法引入了跨帧门控注意力、调制交叉注意力以及光流引导的潜在空间平滑机制，以提升编辑精度与帧间一致性，在定性和定量基准测试中均优于现有方法。

ABSTRACT

Recent endeavors in video editing have showcased promising results in single-attribute editing or style transfer tasks, either by training text-to-video (T2V) models on text-video data or adopting training-free methods. However, when confronted with the complexities of multi-attribute editing scenarios, they exhibit shortcomings such as omitting or overlooking intended attribute changes, modifying the wrong elements of the input video, and failing to preserve regions of the input video that should remain intact. To address this, here we present a novel grounding-guided video-to-video translation framework called Ground-A-Video for multi-attribute video editing. Ground-A-Video attains temporally consistent multi-attribute editing of input videos in a training-free manner without aforementioned shortcomings. Central to our method is the introduction of Cross-Frame Gated Attention which incorporates groundings information into the latent representations in a temporally consistent fashion, along with Modulated Cross-Attention and optical flow guided inverted latents smoothing. Extensive experiments and applications demonstrate that Ground-A-Video's zero-shot capacity outperforms other baseline methods in terms of edit-accuracy and frame consistency. Further results and code are available at our project page (http://ground-a-video.github.io).

研究动机与目标

• 解决现有视频编辑方法在多属性编辑中的局限性，如语义错位、帧间过渡不一致以及非预期修改。
• 在不微调扩散模型于视频数据的前提下，实现高精度且时序一致的视频编辑。
• 整合空间离散条件（定位信息）与空间连续条件（光流图、深度图），以提升控制精度与一致性。
• 在准确修改指定属性的同时，保留输入视频中未改变区域的完整性。
• 证明仅使用文本到图像基础模型与基于反演的技术即可实现零样本视频编辑的可行性。

提出的方法

• 提出跨帧门控注意力机制，通过时序地关注空间定位条件，实现定位信息在视频帧间的稳定传播。
• 提出调制交叉注意力机制，以实现文本到图像模型中不同优化程度的无条件嵌入之间的有效交互。
• 应用光流引导的潜在空间平滑方法，对反演的潜在表示进行处理，以减少伪影并提升静态区域的时序一致性。
• 通过膨胀的ControlNet使用深度图与光流图等控制条件，以保持帧间结构一致性。
• 利用边界框坐标与文本字幕作为定位信息，以解耦复杂语义编辑并引导精确的属性修改。
• 采用两阶段流程：首先进行视频反演，随后通过注入定位信息与结构条件进行基于扩散的编辑。

实验结果

研究问题

• RQ1 定位信息能否被有效利用以提升零样本视频编辑中的编辑精度与时序一致性？
• RQ2 空间连续条件（光流图、深度图）与空间离散条件（边界框）的结合如何影响视频编辑性能？
• RQ3 无需微调视频数据集的训练自由方法能否实现高保真度的多属性视频编辑？
• RQ4 跨帧门控注意力是否在保持编辑精度与时序一致性方面优于独立帧的注意力机制？
• RQ5 基于定位信息交集生成的修复掩码在多大程度上能提升对未改变视频区域的保护效果？

主要发现

• 用户研究与定量指标均验证，Ground-A-Video 在多属性编辑中相较基线方法展现出更优的编辑精度与时序一致性。
• 消融研究证实，光流引导的潜在空间平滑显著减少了静态区域的伪影，提升了重建质量。
• ControlNet 配合深度图对准确重建结构至关重要，如在兔子与企鹅等复杂物体的重建中表现显著。
• 跨帧门控注意力有效减少了帧间语义错位与外观差异，尤其在属性编辑任务（如“人 → 钢铁侠”）中表现突出。
• 利用定位信息交集生成的掩码进行修复，可更准确识别并保护应保持不变的区域，从而提升保护精度。
• 该方法可实现零样本文本到视频生成，且支持姿态图引导，展现出超越编辑任务的多功能性。