[论文解读] Evaluating Text-to-Visual Generation with Image-to-Text Generation

Zhiqiu Lin, Deepak Pathak+6 more|arXiv (Cornell University)|Apr 1, 2024

Digital Humanities and ScholarshipArts and Humanities被引用 3

一句话总结

本文提出 VQAScore，一种用于评估文本到视觉生成的新度量方法，通过视觉问答（VQA）模型计算‘此图像是否显示{text}？’这一问题获得‘是’答案的概率。尽管方法简单，VQAScore——尤其是采用自定义双向编码器（CLIP-FlanT5）实现时——在多个基准测试中达到最先进性能，优于 CLIPScore 和专有模型如 GPT-4V，同时在视频和 3D 生成任务中也展现出良好的泛化能力。

ABSTRACT

Despite significant progress in generative AI, comprehensive evaluation remains challenging because of the lack of effective metrics and standardized benchmarks. For instance, the widely-used CLIPScore measures the alignment between a (generated) image and text prompt, but it fails to produce reliable scores for complex prompts involving compositions of objects, attributes, and relations. One reason is that text encoders of CLIP can notoriously act as a "bag of words", conflating prompts such as "the horse is eating the grass" with "the grass is eating the horse". To address this, we introduce the VQAScore, which uses a visual-question-answering (VQA) model to produce an alignment score by computing the probability of a "Yes" answer to a simple "Does this figure show '{text}'?" question. Though simpler than prior art, VQAScore computed with off-the-shelf models produces state-of-the-art results across many (8) image-text alignment benchmarks. We also compute VQAScore with an in-house model that follows best practices in the literature. For example, we use a bidirectional image-question encoder that allows image embeddings to depend on the question being asked (and vice versa). Our in-house model, CLIP-FlanT5, outperforms even the strongest baselines that make use of the proprietary GPT-4V. Interestingly, although we train with only images, VQAScore can also align text with video and 3D models. VQAScore allows researchers to benchmark text-to-visual generation using complex texts that capture the compositional structure of real-world prompts. We introduce GenAI-Bench, a more challenging benchmark with 1,600 compositional text prompts that require parsing scenes, objects, attributes, relationships, and high-order reasoning like comparison and logic. GenAI-Bench also offers over 15,000 human ratings for leading image and video generation models such as Stable Diffusion, DALL-E 3, and Gen2.

研究动机与目标

• 为解决文本到视觉生成评估中缺乏稳健、可靠度量的问题，特别是针对复杂、组合式提示词。
• 克服现有度量方法（如 CLIPScore）因‘词袋’行为而无法捕捉组合结构的局限性。
• 开发一种可扩展的、无需参考的评估方法，使其在复杂视觉推理任务上更符合人类判断。
• 创建新的基准 GenAI-Bench，包含 1,600 个组合式提示词和 15,000 个人工评分，用于评估主流图像和视频模型。
• 证明即使使用现成的 VQA 模型，只要设计得当，也能超越更复杂的专有基线模型。

提出的方法

• 提出 VQAScore 作为无需参考的度量方法，计算‘此图像是否显示 {text}？请回答是或否。’这一问题获得‘是’答案的概率。
• 使用视觉-问答（VQA）模型同时编码图像和问题的 token，采用双向编码器以实现图像与文本之间的相互注意力。
• 使用现成模型（如 InstructBLIP、LLaVA-1.5）和自定义模型 CLIP-FlanT5 实现 VQAScore，后者结合 CLIP 图像特征与 FlanT5 以提升跨注意力效果。
• 通过在多个帧或视角上平均得分，将 VQAScore 应用于文本到图像、文本到视频和文本到 3D 生成的评估。
• 设计并发布 GenAI-Bench 基准，包含 1,600 个组合式提示词，要求解析对象、属性、关系和逻辑推理。
• 对视频帧采样（视频）和 3D 视角采样（3D）进行消融研究，表明最小采样即可实现接近最优性能。

实验结果

研究问题

• RQ1 基于简单 VQA 的度量能否在评估组合式文本到视觉生成任务中超越 CLIPScore 等成熟度量？
• RQ2 当架构设计得当时，现成的 VQA 模型在多大程度上能匹配甚至超越 GPT-4V 等专有模型的性能？
• RQ3 VQAScore 在不同模态（包括视频和 3D 生成）上的泛化能力如何？
• RQ4 与自回归编码器相比，使用双向图像-问题编码器是否能显著提升对齐评分？
• RQ5 VQAScore 在需要超越简单物体识别的复杂、组合式提示词任务上，能否与人类判断保持高度一致？

主要发现

• 使用 CLIP-FlanT5 模型计算的 VQAScore 在文本到图像基准测试中达到新的最先进成对准确率 83.1，甚至超过基于 GPT-4V 的方法。
• 仅使用 3×3 网格视角的 3D 资产，VQAScore 在 StanfordT23D 上实现 68.4 的成对准确率，几乎与 120 个视角的 68.6 分数持平。
• 从 3 秒视频中采样仅 4 帧，即可通过 CLIP-FlanT5 达到 66.5 的成对准确率，接近全部 36 帧的 66.5 分数。
• 使用现成的 LLaVA-1.5 模型计算的 VQAScore 在文本到图像基准测试中达到 82.4 的成对准确率，优于 CLIPScore（77.8）和其他无需参考的度量方法。
• 自定义 CLIP-FlanT5 模型在文本到视频基准测试 EvalCrafter 上实现 65.4 的成对准确率，优于 InstructBLIP（65.4）和 LLaVA-1.5（63.2）。
• GenAI-Bench 上的人工标注评分与 VQAScore 显示出强相关性，验证了其在复杂、组合式提示词任务上与人类判断的一致性。