[论文解读] Are Deep Neural Networks SMARTer than Second Graders?

Anoop Cherian, Kuan–Chuan Peng+3 more|arXiv (Cornell University)|Dec 20, 2022

Multimodal Machine Learning Applications被引用 8

一句话总结

本文提出了 SMART-101，一个包含 101 个儿童谜题的视觉-语言数据集，这些谜题需要算术、空间推理和代数推理能力，旨在评估深度神经网络在监督学习之外的泛化与推理能力。尽管在训练数据上表现良好，模型仍无法泛化，甚至 GPT-3.5 和 GPT-4 也因看似合理的推理过程而给出错误答案，揭示了其在真正抽象与算法推理方面的局限性。

ABSTRACT

Recent times have witnessed an increasing number of applications of deep neural networks towards solving tasks that require superior cognitive abilities, e.g., playing Go, generating art, ChatGPT, etc. Such a dramatic progress raises the question: how generalizable are neural networks in solving problems that demand broad skills? To answer this question, we propose SMART: a Simple Multimodal Algorithmic Reasoning Task and the associated SMART-101 dataset, for evaluating the abstraction, deduction, and generalization abilities of neural networks in solving visuo-linguistic puzzles designed specifically for children in the 6--8 age group. Our dataset consists of 101 unique puzzles; each puzzle comprises a picture and a question, and their solution needs a mix of several elementary skills, including arithmetic, algebra, and spatial reasoning, among others. To scale our dataset towards training deep neural networks, we programmatically generate entirely new instances for each puzzle, while retaining their solution algorithm. To benchmark performances on SMART-101, we propose a vision and language meta-learning model using varied state-of-the-art backbones. Our experiments reveal that while powerful deep models offer reasonable performances on puzzles in a supervised setting, they are not better than random accuracy when analyzed for generalization. We also evaluate the recent ChatGPT and other large language models on a subset of SMART-101 and find that while these models show convincing reasoning abilities, the answers are often incorrect.

研究动机与目标

• 评估最先进深度神经网络是否具备与 6–8 岁儿童相当的推理泛化能力。
• 开发一个基准数据集，用于测试在视觉基础问题上广泛的多模态推理技能——包括算术、空间推理、模式匹配和代数推理。
• 评估当前视觉-语言模型及大型语言模型（如 GPT-3.5、GPT-4）在解决需要抽象与泛化的算法推理任务时的局限性。
• 创建一个经过心理测量控制的开放世界数据集，避免先前视觉-语言基准中存在的归纳偏置。

提出的方法

• 提出 SMART-101，一个专为 6–8 岁儿童设计的 101 个独特视觉-语言谜题数据集，每个谜题结合视觉场景与自然语言问题，要求进行算法推理。
• 使用程序化数据增强技术，为每个原始谜题生成数千个新实例，同时保留底层解法算法，以实现对泛化能力的稳健评估。
• 采用视觉-语言元学习模型，结合多种最先进主干网络（如 ViT、CLIP），在未见过的谜题变体上训练并评估泛化性能。
• 通过零样本和 few-shot 泛化评估，测试模型在训练期间未见过的增强谜题实例上的表现，以准确率相对于随机基线进行衡量。
• 在 SMART-101 的一个子集上对大型语言模型（如 GPT-3.5、GPT-4）进行基准测试，以评估其在无微调情况下的推理能力。
• 分析模型输出的逻辑一致性和正确性，将推理路径与真实解法算法进行对比。

实验结果

研究问题

• RQ1 在 SMART-101 基准上使用监督学习训练的深度神经网络能否泛化到同一类谜题的未见实例？
• RQ2 最先进视觉-语言模型在多模态算法谜题上的推理能力是否可与二年级学生相媲美？
• RQ3 在无微调的情况下，GPT-3.5 和 GPT-4 等大型语言模型在视觉-语言谜题上表现出正确推理的程度如何？
• RQ4 先前基准中的归纳偏置如何影响模型性能？SMART-101 是否通过增加任务多样性与开放世界复杂性来缓解这些问题？
• RQ5 在结构化推理任务中，大型语言模型的推理过程看似合理，但实际正确性之间存在多大差距？

主要发现

• 视觉-语言模型在 SMART-101 的监督训练实例上取得了合理准确率，但在未见的增强实例上无法泛化，表现仅相当于随机猜测。
• 即使使用强大的架构主干，元学习模型仍无法学习到实现泛化的底层算法结构，表明其在抽象与迁移方面存在根本性局限。
• GPT-3.5 和 GPT-4 虽能生成看似合理的推理路径，却频繁得出错误答案，表明流利的推理并不等同于正确。
• 在一个示例中，GPT-4 错误地得出答案为 11 公里，而正确答案应为 18 公里，尽管其推理路径看似逻辑一致。
• 本研究揭示，当前 LLM 和视觉-语言模型即使在解法路径简单且确定的情况下，也常产生幻觉或不一致的推理。
• 结果表明，当前深度学习模型在抽象与算法推理方面缺乏鲁棒性，与需要多步、多模态推理任务中儿童的认知能力相比仍显不足。