[论文解读] Animate-A-Story: Storytelling with Retrieval-Augmented Video Generation

Yingqing He, Menghan Xia+9 more|arXiv (Cornell University)|Jul 13, 2023

Video Analysis and Summarization被引用 5

一句话总结

本文提出 Animate-A-Story，一种检索增强的视频生成框架，通过检索与运动-结构对齐的视频片段，并利用它们引导文本到视频的生成，从而合成连贯、角色一致的叙事性视频。该方法引入 TimeInv，一种新颖的概念个性化方法，相较于基线方法显著提升了角色保真度与一致性，在视频和图像个性化任务中均达到当前最优性能。

ABSTRACT

Generating videos for visual storytelling can be a tedious and complex process that typically requires either live-action filming or graphics animation rendering. To bypass these challenges, our key idea is to utilize the abundance of existing video clips and synthesize a coherent storytelling video by customizing their appearances. We achieve this by developing a framework comprised of two functional modules: (i) Motion Structure Retrieval, which provides video candidates with desired scene or motion context described by query texts, and (ii) Structure-Guided Text-to-Video Synthesis, which generates plot-aligned videos under the guidance of motion structure and text prompts. For the first module, we leverage an off-the-shelf video retrieval system and extract video depths as motion structure. For the second module, we propose a controllable video generation model that offers flexible controls over structure and characters. The videos are synthesized by following the structural guidance and appearance instruction. To ensure visual consistency across clips, we propose an effective concept personalization approach, which allows the specification of the desired character identities through text prompts. Extensive experiments demonstrate that our approach exhibits significant advantages over various existing baselines.

研究动机与目标

• 解决生成高质量、连贯的叙事性视频时，对布局、运动和一致角色外观的控制挑战。
• 克服现有文本到视频模型在控制场景构图与运动结构方面的局限性。
• 通过一种新颖的个性化方法，解决检索增强视频生成中的角色不一致问题。
• 在保持场景间结构连贯性的前提下，实现用户对角色身份与外观的控制。

提出的方法

• 使用现成的视频检索系统，基于文本查询提取视频深度信息，作为场景与运动上下文的运动结构表征。
• 采用结构引导的文本到视频生成模型，在检索到的运动结构与文本提示的引导下生成视频。
• 提出 TimeInv，一种时间步长可变的文本反演方法，通过优化可学习嵌入来实现个性化概念的表示，而无需微调主模型参数。
• 通过 TimeInv 实现概念个性化，结合文本提示与参考图像，实现跨视频片段的角色身份一致性。
• 采用两阶段训练策略：首先，从 WebVid 中为每个角色检索 200 个真实视频用于正则化；其次，在推理阶段应用数据增强与无分类器引导。
• 将 TimeInv 与 Custom Diffusion 结合，更新注意力模块的键与值，从而在减少伪影的同时提升视觉保真度。

实验结果

研究问题

• RQ1 与标准文本到视频模型相比，检索增强的视频生成是否能提升生成叙事性视频的结构连贯性与真实感？
• RQ2 像 TimeInv 这样的个性化概念表征方法，在多样的场景与视频片段中，能否有效维持角色身份的一致性？
• RQ3 所提出的框架在多大程度上解决了运动结构控制与角色外观个性化之间的冲突？
• RQ4 检索与个性化相结合是否在定性和定量指标上均优于现有基线方法？

主要发现

• 所提框架在视频生成质量方面达到当前最优性能，泰迪熊的语义相似度得分为 0.295，身份保真度为 0.853，优于 DreamBooth、Textual Inversion 和 Custom Diffusion。
• TimeInv 在猫的角色身份保真度上达到 0.902，显著优于 Textual Inversion（0.743），在语义对齐与视觉一致性方面与其它方法相比表现相当或更优。
• 定性结果表明，与 DreamBooth 和 Textual Inversion 相比，TimeInv 减少了伪影与过拟合现象，同时保持了多样的背景与更佳的角色细节。
• TimeInv 在图像个性化任务中具有良好的泛化能力，与 Custom Diffusion 结合后，背景多样性与概念组合性均得到提升。
• 由于有效实现了结构与外观的解耦，该框架在背景与运动变化的情况下，仍能保持角色渲染的一致性。
• 消融实验表明，检索引导的结构控制与 TimeInv 个性化方法的结合，显著提升了视频连贯性与角色保真度。