[论文解读] From Sora What We Can See: A Survey of Text-to-Video Generation

Rui Sun, Yumin Zhang+7 more|arXiv (Cornell University)|May 17, 2024

Video Analysis and Summarization被引用 4

一句话总结

本综述通过解构 OpenAI 的 Sora 模型，对文本到视频（T2V）生成进行了全面分析，从三个维度对文献进行分类：演化生成器、卓越性追求（时长、分辨率、质量）以及真实感全景（运动、复杂性、布局）。综述回顾了关键模型、数据集、评估指标，并识别出 T2V 生成中的关键挑战与未来研究方向。

ABSTRACT

With impressive achievements made, artificial intelligence is on the path forward to artificial general intelligence. Sora, developed by OpenAI, which is capable of minute-level world-simulative abilities can be considered as a milestone on this developmental path. However, despite its notable successes, Sora still encounters various obstacles that need to be resolved. In this survey, we embark from the perspective of disassembling Sora in text-to-video generation, and conducting a comprehensive review of literature, trying to answer the question, extit{From Sora What We Can See}. Specifically, after basic preliminaries regarding the general algorithms are introduced, the literature is categorized from three mutually perpendicular dimensions: evolutionary generators, excellent pursuit, and realistic panorama. Subsequently, the widely used datasets and metrics are organized in detail. Last but more importantly, we identify several challenges and open problems in this domain and propose potential future directions for research and development.

研究动机与目标

• 通过以 OpenAI 的 Sora 作为先进视频生成的基准，对文本到视频（T2V）生成文献进行系统性综述。
• 从三个正交维度对现有 T2V 方法进行分类：生成模型的演化、对视频卓越性的追求（时长、分辨率、质量），以及真实感视频生成（运动连贯性、复杂场景、布局合理性）。
• 整理并评估 T2V 研究中广泛使用数据集与基准评估指标。
• 识别 T2V 生成中持续存在的挑战与开放性问题，特别是 Sora 的局限性所凸显的问题。
• 基于 Sora 的能力与不足，提出未来研究方向，支持通过视频生成推动通用人工智能的发展。

提出的方法

• 综述开展多维文献调研，根据生成模型的演化路径（GAN/VAE、自回归模型、扩散模型）对 T2V 方法进行分类，同时评估其在视频属性卓越性（时长、分辨率、质量）与真实感（运动连贯性、复杂场景、布局合理性）方面的表现。
• 分析 Sora 的架构，特别是其采用的 DiT（扩散 Transformer）模型，该模型取代了传统 U-Net，实现了长上下文、高保真度的视频生成。
• 从来源与领域角度评估 T2V 数据集与评估指标，涵盖质量、多样性与时间一致性的基准测试。
• 识别出关键挑战，如多物体之间的运动不一致、缺乏物理真实性，以及长视频生成中的数据稀疏性问题。
• 从 Sora 的世界模拟能力中汲取洞见，提出未来可将生成模型与数字孪生系统及规范性 AI 框架相结合。
• 提出未来研究方向，包括可解释性 AI、隐私保护生成、公平性与生成视频系统中的鲁棒性。

实验结果

研究问题

• RQ1 Sora 的基于 DiT 的架构如何实现分钟级、高分辨率的视频生成？其相较于先前模型的技术优势是什么？
• RQ2 定义文本到视频生成卓越性的关键维度是什么？当前模型在时长、分辨率与视觉质量方面的表现如何？
• RQ3 在复杂、多物体场景中，实现物理上一致且时间上连贯的运动，仍面临哪些挑战？
• RQ4 如何将文本到视频模型集成到数字孪生系统中，以提升仿真保真度与实时响应能力？
• RQ5 为确保像 Sora 这类先进 T2V 模型负责任地开发与部署，需要哪些规范性与伦理框架？

主要发现

• Sora 实现了分钟级、高分辨率且无缝衔接的高质量视频生成，超越了以往 T2V 模型在短时长、低分辨率输出方面的局限。
• DiT（扩散 Transformer）架构使 Sora 能够处理长文本提示，并生成连贯、高保真度的视频，优于传统基于 U-Net 的模型。
• 尽管具备诸多优势，Sora 在多物体之间的运动连贯性方面仍存在困难，凸显了多物体视频生成中的关键开放挑战。
• 综述指出，目前缺乏针对长视频生成的标准化评估指标，尤其是在时间一致性与物理合理性方面。
• Sora 的能力表明其在与数字孪生系统集成方面具有巨大潜力，特别是在利用物理先验提升数据补全与实时仿真方面。
• 作者强调，亟需建立规范性 AI 框架，以应对生成视频系统中可解释性、隐私保护、公平性与伦理使用等问题。