[论文解读] DALL-E 2 Fails to Reliably Capture Common Syntactic Processes

Evelina Leivada, Elliot Murphy+1 more|arXiv (Cornell University)|Oct 23, 2022

Natural Language Processing Techniques被引用 12

一句话总结

本文评估了 DALL-E 2 在自然语言提示中解析句法结构的能力，测试了包括被动语态、否定和省略在内的八种核心语法现象。尽管声称具备高级语言理解能力，DALL-E 2 却无法可靠地生成与句法含义一致的图像，暴露出其在组合泛化和语义推理方面的根本性局限。

ABSTRACT

Machine intelligence is increasingly being linked to claims about sentience, language processing, and an ability to comprehend and transform natural language into a range of stimuli. We systematically analyze the ability of DALL-E 2 to capture 8 grammatical phenomena pertaining to compositionality that are widely discussed in linguistics and pervasive in human language: binding principles and coreference, passives, word order, coordination, comparatives, negation, ellipsis, and structural ambiguity. Whereas young children routinely master these phenomena, learning systematic mappings between syntax and semantics, DALL-E 2 is unable to reliably infer meanings that are consistent with the syntax. These results challenge recent claims concerning the capacity of such systems to understand of human language. We make available the full set of test materials as a benchmark for future testing.

研究动机与目标

• 评估 DALL-E 2 是否能可靠地从自然语言提示的句法结构中推断语义解释。
• 探究该模型是否在常见语言现象中捕捉到组合性——即句法与语义之间系统性映射——的能力。
• 挑战近期关于视觉-语言模型（如 DALL-E 2）具备人类水平语言理解或理解能力的主张。
• 为未来视觉-语言模型中组合泛化的评估建立基准。
• 识别系统性句法解释失败，揭示模型架构与训练中的潜在局限。

提出的方法

• 设计并实施一个受控的测试套件，涵盖来自形式语言学的八种句法现象：绑定/回指、被动语态、词序、并列、比较级、否定、省略和结构歧义。
• 使用精心构建的提示，从 DALL-E 2 生成图像，这些提示在保持语义内容的同时改变句法结构。
• 通过人工标注的正确性判断，将图像输出与标准答案进行对比评估。
• 采用标准化评估协议，确保所有测试案例的一致性与可复现性。
• 比较模型在不同句法类别中的表现，以识别系统性失败模式。
• 将完整测试集作为公开基准，供未来研究视觉-语言模型中组合泛化的使用。

实验结果

研究问题

• RQ1 DALL-E 2 是否能可靠地生成反映句法复杂提示正确语义解释的图像？
• RQ2 DALL-E 2 是否在被动语态和否定等核心句法现象中表现出组合泛化能力？
• RQ3 句法解释中的失败是否与省略或结构歧义等特定语言结构相关？
• RQ4 DALL-E 2 的图像生成在多大程度上反映了对句法-语义映射的真实理解？
• RQ5 通过架构或训练方式的修改，能否系统性地提升模型的句法推理能力？

主要发现

• 在涉及被动语态的提示中，DALL-E 2 无法可靠地生成与句法结构一致的图像，导致施事者与受事者角色错误。
• 该模型经常误解否定，生成描绘被否定动作的图像，而非其缺失。
• 在省略任务中，DALL-E 2 常常无法推断出正确的先行成分，导致图像中包含无关或错误的元素。
• 对于结构歧义，DALL-E 2 对两种解释均无一致偏好，表明其缺乏句法解析能力。
• 在所有八种句法现象中，性能显著低于人类水平准确度，且无任一句法类别达到一致可靠性。
• 该模型的失败具有系统性和可预测性，表明其缺乏组合泛化能力，而非随机错误。