[论文解读] EvalCrafter: Benchmarking and Evaluating Large Video Generation Models

Yaofang Liu, Xiaodong Cun+8 more|arXiv (Cornell University)|Oct 17, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出了EvalCrafter，一个全面的文本到视频（T2V）生成模型评估基准框架，通过结合多样化、由大语言模型扩展的提示语料库与多维度指标（包括视觉质量、运动质量、时间一致性及文本-视频对齐），实现对T2V模型的系统性评估。该框架提出了一种基于加权回归的人类偏好对齐方法，其与人类判断的相关性高于简单平均方法，为大规模T2V模型的评估树立了新标准。

ABSTRACT

The vision and language generative models have been overgrown in recent years. For video generation, various open-sourced models and public-available services have been developed to generate high-quality videos. However, these methods often use a few metrics, e.g., FVD or IS, to evaluate the performance. We argue that it is hard to judge the large conditional generative models from the simple metrics since these models are often trained on very large datasets with multi-aspect abilities. Thus, we propose a novel framework and pipeline for exhaustively evaluating the performance of the generated videos. Our approach involves generating a diverse and comprehensive list of 700 prompts for text-to-video generation, which is based on an analysis of real-world user data and generated with the assistance of a large language model. Then, we evaluate the state-of-the-art video generative models on our carefully designed benchmark, in terms of visual qualities, content qualities, motion qualities, and text-video alignment with 17 well-selected objective metrics. To obtain the final leaderboard of the models, we further fit a series of coefficients to align the objective metrics to the users' opinions. Based on the proposed human alignment method, our final score shows a higher correlation than simply averaging the metrics, showing the effectiveness of the proposed evaluation method.

研究动机与目标

• 为解决当前大规模文本到视频（T2V）生成模型缺乏全面评估框架的问题，这些模型目前仅依赖有限的指标（如FVD或IS）。
• 构建一个多样化、贴近现实场景的提示语基准，结合大语言模型与真实用户输入，进行详细标注。
• 通过客观指标在多个方面评估T2V模型的表现：视觉质量、运动质量、时间一致性及文本-视频对齐。
• 通过学习到的加权方案，将客观指标与人类偏好对齐，提升评估准确性。
• 通过识别开源模型与闭源模型之间的性能差距与局限性，为未来模型开发提供可操作的见解。

提出的方法

• 通过分析真实世界提示语并利用大语言模型（如ChatGPT）扩展元类型，构建全面的提示语列表，涵盖物体、属性与动作。
• 设计一个多维度评估流程，涵盖四个维度共18项客观指标：视觉质量（VQA-T, VQA-A）、运动质量（Motion AC, Flow-Score）、时间一致性（CLIP-Temp, Warp Error）以及文本-视频对齐（SD-Score, CLIP-Score）。
• 开展一项人类偏好研究，由3名标注员对200个样本的生成视频进行成对判断。
• 训练加权回归模型，将客观指标映射到人类偏好得分，通过优化系数以最大化相关性（Spearman’s ρ与Kendall’s τ）。
• 利用学习到的系数计算最终综合得分，使其比原始指标平均更符合人类感知。
• 通过在未见数据上比较人类判断与原始指标及对齐得分之间的相关性，验证该方法的有效性。

Figure 1 : We propose EvalCrafter, a comprehensive framework for benchmarking and evaluating the text-to-video models, including the well-defined prompt types in grey and the multiple evaluation aspects in black circles.

实验结果

研究问题

• RQ1 如何构建一个多样化且具有代表性的文本到视频提示语基准，以真实反映实际使用场景？
• RQ2 在视频生成的不同方面（如运动、对齐、质量）中，哪些客观指标与人类感知的相关性最强？
• RQ3 能否通过学习到的加权方案，使客观指标与人类偏好对齐，从而在评估T2V模型时优于简单平均方法？
• RQ4 开源与闭源T2V模型之间存在哪些关键局限性与性能差距？
• RQ5 当前最先进模型在多个维度上的表现如何？其反复出现的失败模式是什么？

主要发现

• 所提出的基于人类偏好的对齐方法在与人类判断的相关性上表现优异，Spearman’s ρ达50.2，Kendall’s τ达37.6，显著优于简单平均方法（ρ=45.9，τ=33.7）。
• CLIP-Temp与Warp Error在时间一致性方面与人类感知具有强相关性（ρ=50.0，τ=36.0），表明其在衡量运动稳定性方面具有有效性。
• SD-Score与CLIP-Score在评估文本-视频对齐方面具有高度价值，相关性显著（ρ=30.5，τ=21.7）。
• Gen2尽管整体性能最佳，但在人物与动物的身份一致性方面存在问题，表现为IS得分较低，且难以生成复杂场景。
• 开源模型（如ModelScope-XL、ZeroScope）与闭源模型（如PikaLab、Gen2）之间存在显著性能差距，尤其在运动质量与对齐方面。
• 运动幅度指标（如Motion AC、Flow-Score）与人类偏好无相关性，表明在人类评估中，稳定性比幅度更重要。

(a) Prompt length distribution.