[论文解读] A very preliminary analysis of DALL-E 2

Gary Marcus, Ernest Davis+1 more|arXiv (Cornell University)|Apr 25, 2022

Handwritten Text Recognition Techniques被引用 88

一句话总结

论文报告了对 DALL-E 2 的非常初步评估，使用十四个具有挑战性的提示，发现至少有一个图像满足五个提示的请求，但没有一个提示产生的所有十张图像都满足请求。

ABSTRACT

The DALL-E 2 system generates original synthetic images corresponding to an input text as caption. We report here on the outcome of fourteen tests of this system designed to assess its common sense, reasoning and ability to understand complex texts. All of our prompts were intentionally much more challenging than the typical ones that have been showcased in recent weeks. Nevertheless, for 5 out of the 14 prompts, at least one of the ten images fully satisfied our requests. On the other hand, on no prompt did all of the ten images satisfy our requests.

研究动机与目标

• 评估 DALL-E 2 处理需要常识和推理的提示的能力。
• 测试对超越典型展示提示的复杂文本提示的理解。
• 提供对 DALL-E 2 在具有挑战性任务上的初步、定量感知。

提出的方法

• 设计十四个比典型演示显著更具挑战性的提示。
• 为每个提示生成十张图片，以评估一致性和满意度。
• 评估生成的图像是否符合每个提示的特定要求。

实验结果

研究问题

• RQ1 DALL-E 2 能否可靠地满足测试常识和推理的提示？
• RQ2 在每个提示的多张图像中，DALL-E 2 在多大程度上理解并执行复杂的文本要求？

主要发现

• 在十四个提示中，至少有一张图像满足其中五个提示的请求。
• 在任何提示中，全部十张图像都未能满足请求。
• 所使用的提示故意比公开展示的更具挑战性。
• 该研究对 DALL-E 2 的能力提供了非常早期、有限的评估。