[论文解读] Human Evaluation of Text-to-Image Models on a Multi-Task Benchmark

Vitali Petsiuk, Alexander E. Siemenn+12 more|arXiv (Cornell University)|Nov 22, 2022

Multimodal Machine Learning Applications被引用 13

一句话总结

本文提出了一项新的多任务基准，用于评估文本到图像模型，涵盖32项任务，涉及计数、空间推理和属性对齐等多样化能力。基于3,600次人工评分的评估显示，DALL-E 2在计数任务（65.7% vs. 54.4%）和人脸生成（81.7% vs. 70.2%）方面优于Stable Diffusion，而Stable Diffusion在形状生成任务上略胜一筹（57.6% vs. 56.8%）。

ABSTRACT

We provide a new multi-task benchmark for evaluating text-to-image models. We perform a human evaluation comparing the most common open-source (Stable Diffusion) and commercial (DALL-E 2) models. Twenty computer science AI graduate students evaluated the two models, on three tasks, at three difficulty levels, across ten prompts each, providing 3,600 ratings. Text-to-image generation has seen rapid progress to the point that many recent models have demonstrated their ability to create realistic high-resolution images for various prompts. However, current text-to-image methods and the broader body of research in vision-language understanding still struggle with intricate text prompts that contain many objects with multiple attributes and relationships. We introduce a new text-to-image benchmark that contains a suite of thirty-two tasks over multiple applications that capture a model's ability to handle different features of a text prompt. For example, asking a model to generate a varying number of the same object to measure its ability to count or providing a text prompt with several objects that each have a different attribute to identify its ability to match objects and attributes correctly. Rather than subjectively evaluating text-to-image results on a set of prompts, our new multi-task benchmark consists of challenge tasks at three difficulty levels (easy, medium, and hard) and human ratings for each generated image.

研究动机与目标

• 为解决当前缺乏全面、严谨的文本到图像模型评估协议的问题，以捕捉复杂提示理解能力。
• 开发一项基准，测试超越简单图像质量的多样化模型能力，包括组合推理、属性对齐和常识理解。
• 实现对DALL-E 2和Stable Diffusion等领先模型在多个性能维度上的公平、人工标注比较。
• 提供一种可扩展、结构化的评估框架，可用于评估未来模型并识别其具体优势与局限性。

提出的方法

• 设计一项包含32项独立任务的多任务基准，针对文本到图像模型的特定能力，如计数、空间定位和属性匹配。
• 将每个任务划分为三个难度级别——简单、中等和困难，每个级别使用十个独特提示，每项任务共30个提示。
• 从20名计算机科学研究生中收集人工评分，评估图像质量和对齐度，采用1–5分制（1 = 最差，5 = 最好）。
• 在所有提示下，使用相同默认参数评估两款领先模型——DALL-E 2（商业版）和Stable Diffusion（开源版）。
• 对性能进行归一化并以百分比得分形式报告，按任务和难度级别呈现，以实现直接比较。
• 对需要主观判断的任务（如常识、偏见和罕见共现）采用人工评估，同时指出部分任务（如OCR、空间推理）可借助神经工具实现自动化。

实验结果

研究问题

• RQ1 领先文本到图像模型在多样化的组合与推理任务中的表现如何，这些任务超越了基本图像生成？
• RQ2 DALL-E 2与Stable Diffusion在处理涉及计数、空间关系和属性对齐的复杂提示时，各自的相对优势与劣势是什么？
• RQ3 随着任务难度的提升，模型性能下降的程度如何？是否存在某一模型在某些任务中始终优于另一模型？
• RQ4 标准化的多任务人工评估框架在多大程度上可作为未来文本到图像模型基准测试的可靠黄金标准？
• RQ5 在哪些场景下人工评估是必不可少的？在哪些情况下可改用自动化度量或神经工具？

主要发现

• DALL-E 2在计数任务上的表现显著优于Stable Diffusion，归一化评分为65.7%，而Stable Diffusion为54.4%。
• 在人脸生成任务中，DALL-E 2得分为81.7%，高于Stable Diffusion的70.2%，表明其在生成逼真、对齐良好的面部图像方面表现更优。
• Stable Diffusion在形状生成任务中略占优势（57.6%），优于DALL-E 2的56.8%，表明其在几何形态生成方面具有更好的泛化能力。
• 随着任务难度增加，性能普遍下降，但DALL-E 2在困难级别形状任务上的表现较中等难度级别略有提升。
• 在9项子任务（3项任务 × 3个难度级别）中，DALL-E 2在6项上优于Stable Diffusion，表明其在复杂、组合性生成任务中具有持续优势。
• 该基准成功捕捉到模型行为的细微差异，凸显模型选择应基于具体应用场景需求，而不仅依赖于整体图像质量。