[论文解读] Mora: Enabling Generalist Video Generation via A Multi-Agent Framework

Zhengqing Yuan, Liu, Yixin+11 more|arXiv (Cornell University)|Mar 20, 2024

Advanced Vision and Imaging被引用 4

一句话总结

Mora 提出了一种多智能体框架，通过将任务分解为专门的智能体（用于提示增强、图像生成、视频合成和视频编辑），实现了通用视频生成。该框架在文本到视频、图像到视频、视频扩展和数字世界模拟等多种任务中实现了类似 Sora 的能力，尽管在质量和时长方面仍与 Sora 存在差距，但表现强劲。

ABSTRACT

Text-to-video generation has made significant strides, but replicating the capabilities of advanced systems like OpenAI Sora remains challenging due to their closed-source nature. Existing open-source methods struggle to achieve comparable performance, often hindered by ineffective agent collaboration and inadequate training data quality. In this paper, we introduce Mora, a novel multi-agent framework that leverages existing open-source modules to replicate Sora functionalities. We address these fundamental limitations by proposing three key techniques: (1) multi-agent fine-tuning with a self-modulation factor to enhance inter-agent coordination, (2) a data-free training strategy that uses large models to synthesize training data, and (3) a human-in-the-loop mechanism combined with multimodal large language models for data filtering to ensure high-quality training datasets. Our comprehensive experiments on six video generation tasks demonstrate that Mora achieves performance comparable to Sora on VBench, outperforming existing open-source methods across various tasks. Specifically, in the text-to-video generation task, Mora achieved a Video Quality score of 0.800, surpassing Sora 0.797 and outperforming all other baseline models across six key metrics. Additionally, in the image-to-video generation task, Mora achieved a perfect Dynamic Degree score of 1.00, demonstrating exceptional capability in enhancing motion realism and achieving higher Imaging Quality than Sora. These results highlight the potential of collaborative multi-agent systems and human-in-the-loop mechanisms in advancing text-to-video generation. Our code is available at \url{https://github.com/lichao-sun/Mora}.

研究动机与目标

• 解决缺乏与 OpenAI 的 Sora 相当的开源通用视频生成模型的问题，后者仍为闭源且对大多数研究人员不可用。
• 克服现有视频模型在生成超过 10 秒的长时长、高分辨率和时序一致视频方面的能力局限。
• 通过协作式智能体架构，支持广泛的视频生成任务，包括文本到视频、图像到视频、视频扩展、编辑、连接和数字世界模拟。
• 通过模块化、灵活的智能体流水线复现 Sora 的通用能力，同时保持视觉质量和指令遵循性。
• 提供透明、开源且可扩展的框架，推动超越专有模型的视频生成研究与创新。

提出的方法

• 将视频生成分解为五个核心子任务：提示增强、文本到图像生成、基于条件文本的图像优化、图像到视频生成以及视频连接。
• 为每个子任务部署专用智能体，通过循环和排列的任务执行方式实现智能体的动态编排。
• 利用预训练的视觉-语言模型（例如，文本到图像扩散模型）作为高保真图像和视频生成的基础组件。
• 通过元编程方法实现多智能体协调，支持推理过程中智能体之间的自适应路由与反馈。
• 应用迭代优化与条件控制，以保持生成视频在时间维度上的一致性与视觉连贯性。
• 采用模块化流水线架构，支持新智能体或模型的即插即用集成，以扩展功能。

实验结果

研究问题

• RQ1 多智能体框架能否利用开源组件复现 Sora 的通用视频生成能力？
• RQ2 协作式智能体系统在文本到视频、图像到视频、视频扩展和编辑等多样化视频生成任务中的表现如何？
• RQ3 在视频质量、时长和指令遵循性方面，与 Sora 等闭源 SOTA 模型相比，开源多智能体系统的性能差距有多大？
• RQ4 中间视觉输出（例如图像）在多大程度上能提升端到端视频生成的保真度与一致性？
• RQ5 此类框架的输出与人类偏好在多大程度上一致？其在物理真实感和运动控制方面存在哪些局限？

主要发现

• Mora 能够从文本提示成功生成分辨率为 1024×576、最长 12 秒（75 帧）的时序一致视频，在特定任务中达到与 Sora 相当的视觉质量。
• 该框架支持六项通用视频生成任务：文本到视频、文本条件图像到视频、视频扩展、视频到视频编辑、视频连接以及数字世界模拟。
• Mora 在提示遵循性和视觉多样性方面表现优异，能够保留输入条件中的风格与内容，但在精确控制运动动态（如速度和方向）方面存在困难。
• 尽管具备强大能力，Mora 与 Sora 相比仍存在显著性能差距，尤其是在生成超过 12 秒的视频以及在该时长后维持高保真度方面。
• 人类偏好评估揭示了不一致性，例如出现不合逻辑的过渡（如男性到女性人物的解体），表明在物理真实感和符合人类视觉预期方面仍需改进。
• 多智能体方法实现了灵活、模块化且可扩展的视频生成流水线，为 Sora 等闭源模型提供了一个切实可行的开源替代方案。