[论文解读] CVPR 2023 Text Guided Video Editing Competition

Jay Zhangjie Wu, Xiuyu Li+18 more|arXiv (Cornell University)|Oct 24, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文介绍了CVPR 2023年文本引导视频编辑（TGVE）竞赛，提出一个标准化基准数据集，包含76个视频，每个视频有4个编辑提示，分别对应风格、背景、物体和多编辑变化。冠军方法Team CAMP的两阶段视频编辑（2SVE）流水线，结合ControlNet、Segment Anything Model（SAM）、OpenCLIP以及微调后的MSVD数据，实现了卓越的编辑保真度与时间一致性，在59.1%的人工评估中优于基线模型。

ABSTRACT

Humans watch more than a billion hours of video per day. Most of this video was edited manually, which is a tedious process. However, AI-enabled video-generation and video-editing is on the rise. Building on text-to-image models like Stable Diffusion and Imagen, generative AI has improved dramatically on video tasks. But it's hard to evaluate progress in these video tasks because there is no standard benchmark. So, we propose a new dataset for text-guided video editing (TGVE), and we run a competition at CVPR to evaluate models on our TGVE dataset. In this paper we present a retrospective on the competition and describe the winning method. The competition dataset is available at https://sites.google.com/view/loveucvpr23/track4.

研究动机与目标

• 为解决文本引导视频编辑（TGVE）模型缺乏标准化基准的问题，该问题阻碍了该领域的发展与模型比较。
• 创建一个公开可用、多样化且高质量的数据集，包含76个视频，每个视频有4个编辑提示，涵盖风格、背景、物体和多变化类型。
• 在CVPR 2023年组织竞赛，使用自动化与人工评估指标对TGVE模型进行评估。
• 通过受控的、开放的竞赛与透明评估，识别并分析现有TGVE方法的优势与劣势。
• 建立可复现、开放的基准，以支持未来在文本引导视频编辑领域的研究与开发。

提出的方法

• 竞赛数据集从100个公开许可视频（DAVIS、YouTube、Videvo）中构建，经筛选后保留76个以确保质量和多样性，每个视频裁剪并下采样至480×480分辨率，包含32或128帧。
• 每个视频均配有真实标签字幕及四个编辑提示：风格变化、背景变化、物体变化或多变化，通过LLM迭代提示与优化，并经人工验证生成。
• 冠军方法Two-Stage Video Editing（2SVE）首先利用扩散模型，基于文本和图像提示生成对齐编辑的帧，随后通过ControlNet与VPA（Video Prompt Anchor）对结果进行精细化处理，以提升空间与时间一致性。
• 2SVE流水线整合了Segment Anything Model（SAM）以实现精确的物体掩码，采用OpenCLIP以改善文本-图像对齐，同时在MSVD数据集上进行微调，以增强提示-视频对齐能力。
• 提出一种新型多帧视频渲染（MVSD）技术，利用第一帧和前一帧输出作为修复参考，提升风格一致性并减少帧间闪烁。
• 系统采用目标区域处理（TSP）以优化修复掩码，在保留结构与运动一致性的同时，最小化相邻帧的干扰。

实验结果

研究问题

• RQ1 在评估文本引导视频编辑模型时面临哪些关键挑战？如何设计一个标准化基准以公平比较不同方法？
• RQ2 ControlNet、SAM和CLIP等不同架构组件在TGVE中对编辑保真度与时间一致性有何贡献？
• RQ3 与端到端方法相比，两阶段训练与推理流水线在多大程度上能提升视频编辑质量？
• RQ4 人工评估者如何感知不同编辑类型下生成编辑的逼真度、一致性与提示对齐程度？
• RQ5 在MSVD等现有数据集上进行微调，在多大程度上能提升提示-视频对齐与编辑质量？

主要发现

• TGVE 2023竞赛数据集包含76个视频，共304个编辑提示，涵盖四种编辑类型：风格、背景、物体和多变化，数据集已公开发布于竞赛官网。
• Team CAMP的两阶段视频编辑（2SVE）流水线在竞赛中胜出，在所有编辑类型的人工评估中，有59.1%的案例优于基线模型。
• 2SVE方法在视觉质量与时间一致性方面表现优异，尤其在风格迁移与物体编辑任务中，闪烁极少，结构细节得以良好保留。
• 通过整合SAM实现实例分割，以及使用ControlNet实现空间控制，显著提升了定位精度并减少了非预期编辑。
• 在MSVD数据集上进行微调提升了提示-视频对齐能力，尤其在涉及多变化或细微风格变化的复杂编辑中表现更优。
• 人工评估确认，2SVE流水线生成的编辑比基线模型更具自然感、连贯性，并与提示更匹配，尤其在背景与运动结构的保留方面表现更佳。