[论文解读] LLMs and the Abstraction and Reasoning Corpus: Successes, Failures, and the Importance of Object-based Representations

Yudong Xu, Wenhao Li+3 more|arXiv (Cornell University)|May 26, 2023

Topic Modeling被引用 5

一句话总结

本文研究了 GPT-4 在解决来自抽象与推理语料库（ARC）的抽象推理任务时的局限性，揭示了纯文本编码会因序列化表示而阻碍对象识别。通过引入外部工具（ARGA）实现基于对象的表示，ARC 任务上的性能几乎翻倍，并在简化的 1D-ARC 基准上实现了接近完美的得分，表明结构化表示能显著提升大语言模型在非语言领域中的推理能力。

ABSTRACT

Can a Large Language Model (LLM) solve simple abstract reasoning problems? We explore this broad question through a systematic analysis of GPT on the Abstraction and Reasoning Corpus (ARC), a representative benchmark of abstract reasoning ability from limited examples in which solutions require some "core knowledge" of concepts such as objects, goal states, counting, and basic geometry. GPT-4 solves only 13/50 of the most straightforward ARC tasks when using textual encodings for their two-dimensional input-output grids. Our failure analysis reveals that GPT-4's capacity to identify objects and reason about them is significantly influenced by the sequential nature of the text that represents an object within a text encoding of a task. To test this hypothesis, we design a new benchmark, the 1D-ARC, which consists of one-dimensional (array-like) tasks that are more conducive to GPT-based reasoning, and where it indeed performs better than on the (2D) ARC. To alleviate this issue, we propose an object-based representation that is obtained through an external tool, resulting in nearly doubling the performance on solved ARC tasks and near-perfect scores on the easier 1D-ARC. Although the state-of-the-art GPT-4 is unable to "reason" perfectly within non-language domains such as the 1D-ARC or a simple ARC subset, our study reveals that the use of object-based representations can significantly improve its reasoning ability. Visualizations, GPT logs, and data are available at https://khalil-research.github.io/LLM4ARC.

研究动机与目标

• 评估 GPT-4 解决来自抽象与推理语料库（ARC）的抽象推理任务的能力，该基准基于人类核心认知先验，如对象性与数值知识。
• 诊断尽管 GPT-4 具备强大的语言能力，为何在 ARC 任务上仍会失败，尤其关注文本编码对对象感知的影响。
• 设计一个简化的、一维的 ARC 版本（1D-ARC），以测试降低维度是否能提升大语言模型的推理性能。
• 评估外部基于对象的表示工具（ARGA）在提升 GPT-4 解决 ARC 任务推理能力方面的有效性。
• 探讨结构化表示在提升大语言模型于非语言、视觉-逻辑领域推理能力中的作用。

提出的方法

• 作者使用 ARC 任务中 2D 输入-输出网格的纯文本编码作为提示输入 GPT-4，模拟标准大语言模型推理设置。
• 他们引入了一个新基准——1D-ARC，该基准由类似数组的一维任务组成，更适用于大语言模型的序列化文本处理。
• 使用外部工具 ARGA（ARC 图像分析器）从 ARC 任务中提取基于对象的表示，并将其整合到提示中以引导 GPT-4。
• 在 50 个标准 ARC 任务和 1D-ARC 子集上评估性能，衡量预测正确输出网格的准确率。
• 通过 GPT 日志和可视化进行消融实验与失败分析，追踪推理错误，特别是与对象识别和空间推理相关的错误。
• 采用多模态评估方式，使用 GPT-4V 结合图像与文本输入，与纯语言模型的性能进行对比。

Figure 1: Example of solving an ARC task with GPT. An “ARC Task” consists of a set of training input-output pairs followed by a test input for which GPT should produce a correct output. To do so, a prompt is created. It includes high-level instructions on what GPT should do, optionally with addition

实验结果

研究问题

• RQ1 为何 GPT-4 在使用 2D 网格的纯文本编码时，无法解决大多数 ARC 任务？
• RQ2 通过 1D-ARC 降低任务维度在多大程度上能提升 GPT-4 在抽象推理任务上的性能？
• RQ3 集成外部基于对象的表示工具（ARGA）是否能显著提升 GPT-4 在 ARC 任务上的表现？
• RQ4 与纯语言模型相比，多模态大语言模型（如 GPT-4V）在 ARC 任务上的表现如何？这揭示了关于视觉-语言推理的哪些信息？
• RQ5 GPT-4 在解决 ARC 任务时，最难以掌握的子能力是什么——抽象、推理还是执行？这些能力能否被解耦以进行进一步分析？

主要发现

• 当使用 2D 网格的纯文本编码时，GPT-4 仅能解决 50 个标准 ARC 任务中的 13 个，表明其在处理非序列化对象表示时存在显著推理局限。
• 在 1D-ARC 基准上的表现优于 2D ARC，但 GPT-4 仍无法解决许多任务，表明仅简化维度不足以克服核心表示问题。
• 通过外部工具 ARGA 实现基于对象的表示，使 GPT-4 在 ARC 任务上的性能几乎翻倍，正确解答回答从 13 个提升至 25 个（共 50 个）。
• 在更简单的 1D-ARC 基准上，基于对象的方法实现了接近完美的性能，GPT-4 成功解决了 50 个任务中的 48 个。
• 尽管 GPT-4V 拥有多模态输入（图像与文本），其在 50 个 ARC 任务中仅解决了 2 个，表现显著低于 GPT-4 和 LLaMA2-13B 等更小的语言模型。
• 失败分析显示，当对象的空间结构被扁平化为序列化文本时，GPT-4 难以识别和推理具有连贯性与持久性的对象，尤其在对象边界未被明确提示时更为明显。

Figure 2: Sample ARC Tasks. Three tasks (separated by dashed lines) are shown. For a given task, each column contains one example input-output pair. The first two columns contain the “training" instances and the third column contains the “test" instance. The goal is to use the training instances to