[论文解读] Make-A-Protagonist: Generic Video Editing with An Ensemble of Experts

Yuyang Zhao, Enze Xie+3 more|arXiv (Cornell University)|May 15, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

Make-A-Protagonist 提出了一种通用的视频编辑框架，通过结合文本和视觉线索，利用一组预训练且冻结的专家模型，实现零样本解析主角，从而支持细粒度、个性化的视频编辑。该方法通过将掩码引导的去噪采样与基于扩散的视频生成模型相结合，实现了高保真度的编辑效果，在主角替换、背景编辑以及文本到视频编辑任务中，均优于仅使用文本或单参考图像的方法。

ABSTRACT

The text-driven image and video diffusion models have achieved unprecedented success in generating realistic and diverse content. Recently, the editing and variation of existing images and videos in diffusion-based generative models have garnered significant attention. However, previous works are limited to editing content with text or providing coarse personalization using a single visual clue, rendering them unsuitable for indescribable content that requires fine-grained and detailed control. In this regard, we propose a generic video editing framework called Make-A-Protagonist, which utilizes textual and visual clues to edit videos with the goal of empowering individuals to become the protagonists. Specifically, we leverage multiple experts to parse source video, target visual and textual clues, and propose a visual-textual-based video generation model that employs mask-guided denoising sampling to generate the desired output. Extensive results demonstrate the versatile and remarkable editing capabilities of Make-A-Protagonist.

研究动机与目标

• 解决现有仅依赖文本或单参考图像的视频编辑模型在处理难以描述或个性化内容时的局限性。
• 实现细粒度、可控的视频编辑，使用户能够将主角替换为难以用文字准确描述的个人身份。
• 通过利用预训练且冻结的模型作为专家，避免微调或数据标注的需要。
• 在保持背景结构和运动保真度的同时，实现一致且高质量的视频生成。

提出的方法

• 利用 BLIP-2 进行视频字幕生成和视频问答，以提取主角的文本描述。
• 采用 Grounded-SAM 和 XMem 从文本描述中生成实例掩码，实现跨帧的视觉主角定位与跟踪。
• 使用 CLIP Vision 和 DALL-E 2 Prior 编码视觉与文本线索，生成图像和文本嵌入。
• 将 ControlNet 与深度图和姿态条件结合，以在视频生成过程中保持结构一致性。
• 在扩散采样过程中，采用掩码引导的去噪采样策略，融合视觉与文本嵌入及分割掩码。
• 利用预训练的图像到视频扩散模型，结合时间模块，从文本到图像先验初始化，生成编辑后的视频。

实验结果

研究问题

• RQ1 一个通用的视频编辑框架是否能有效利用视觉与文本线索，在无需微调的情况下实现主角替换？
• RQ2 在处理个性化、难以识别的主角时，预训练专家模型的集成相较于微调模型表现如何？
• RQ3 与标准的纯文本编辑相比，掩码引导的去噪采样在多大程度上提升了编辑的保真度与一致性？
• RQ4 该框架在主角替换之外的编辑任务中表现如何，例如背景编辑和包含主角的文本到视频编辑？
• RQ5 预训练模型在这些编辑场景中引入的主要失败模式与偏见是什么？

主要发现

• Make-A-Protagonist 成功实现了利用视觉与文本线索对视频中的主角进行编辑，即使主角是普通个体且在文本嵌入中代表性不足的情况。
• 该框架在无需微调的情况下实现了高质量的编辑结果，展示了在多样化编辑任务中强大的零样本泛化能力。
• 定性对比显示，DreamBooth-V 容易对参考动作产生过拟合，导致不自然的运动；而 Make-A-Protagonist 尽管 DINO 分数较低，仍保持了更自然的运动表现。
• 失败案例揭示了对源视频的过拟合以及预训练文本到图像模型中的偏见，尤其当提示词如 'tiger' 存在歧义或与模型先验不一致时更为明显。
• 使用更精确的提示词如 'white tiger' 显著提升了主体保真度，并减少了中间生成或失真主体的出现。