[论文解读] Large Language Model (LLM) as a System of Multiple Expert Agents: An Approach to solve the Abstraction and Reasoning Corpus (ARC) Challenge

John Chong Min Tan, Mehul Motani|arXiv (Cornell University)|Oct 8, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出一种由大型语言模型（LLMs）驱动的多专家智能体系统，用于解决抽象与推理语料库（ARC）挑战。通过将输入网格转换为多种抽象空间——网格、对象和像素，并利用迭代环境反馈，该方法在零样本提示（zero-shot prompting）且无需微调的情况下，实现了111道训练集题目中的50道（45%）的解决方案，证明了LLMs作为程序合成任务中的功能性智能体的可行性。

ABSTRACT

We attempt to solve the Abstraction and Reasoning Corpus (ARC) Challenge using Large Language Models (LLMs) as a system of multiple expert agents. Using the flexibility of LLMs to be prompted to do various novel tasks using zero-shot, few-shot, context-grounded prompting, we explore the feasibility of using LLMs to solve the ARC Challenge. We firstly convert the input image into multiple suitable text-based abstraction spaces. We then utilise the associative power of LLMs to derive the input-output relationship and map this to actions in the form of a working program, similar to Voyager / Ghost in the MineCraft. In addition, we use iterative environmental feedback in order to guide LLMs to solve the task. Our proposed approach achieves 50 solves out of 111 training set problems (45%) with just three abstraction spaces - grid, object and pixel - and we believe that with more abstraction spaces and learnable actions, we will be able to solve more.

研究动机与目标

• 为应对ARC挑战，该挑战要求进行少样本、类人认知的抽象推理，通过将LLMs作为专家智能体系统来解决。
• 探索在不进行预训练的情况下，利用LLMs进行程序合成的可行性，依赖零样本和少样本提示。
• 通过将LLMs嵌入多种抽象空间（网格、对象、像素）并利用环境反馈，提升推理性能。
• 证明迭代反馈与功能动作空间可引导LLMs在视觉推理任务中生成正确程序。

提出的方法

• 将输入网格转换为多种抽象空间：网格（原始像素）、对象（结构化实体）和像素（单个单元属性）。
• 利用LLMs推断输入输出关系，并通过零样本、少样本和上下文引导提示，生成领域特定语言（DSL）中的可执行程序。
• 实施迭代环境反馈：执行生成的程序，观察输出，并根据正确性或编译错误进行程序优化。
• 引入额外的智能体类型，如对象关系、边缘检测、对称性、差异检测和对角视图，以增强推理能力。
• 使用原语函数的代码生成来模拟技能库，模仿Minecraft中的Voyager和Ghost系统。
• 优化提示以减少上下文长度并提高聚焦度，例如通过显式突出显示输入和输出网格之间的差异。

Figure 1: A sample ARC task. The challenge is to infer the abstract rule(s) governing the demonstration transformations and apply it to the test input. Example from: https://aiguide.substack.com/p/why-the-abstraction-and-reasoning

实验结果

研究问题

• RQ1 LLMs能否作为专家智能体系统，在无预训练的情况下解决ARC挑战？
• RQ2 多种抽象空间（网格、对象、像素）在提升LLM在视觉任务上的推理能力方面有多有效？
• RQ3 迭代环境反馈在多大程度上能提升LLM系统在程序生成中的准确性？
• RQ4 能否通过程序合成中功能动作空间的嵌入，实现在少样本视觉推理基准中的零样本推理？
• RQ5 哪些额外的抽象视角（如对称性、对角线、边缘检测）能提升LLM在ARC任务中的表现？

主要发现

• 所提方法仅使用三种抽象空间（网格、对象、像素），在ARC训练集上实现了111道题中的50道（45%）的解决方案。
• 迭代反馈能够纠正错误输出和编译错误，其中6道题在输出错误后被修正，1道题在修复编译错误后被解决。
• 需要多步推理的任务（如修改对象颜色和移除对象）通过迭代反馈成功解决。
• 引入额外的抽象视角（如对象关系、对称性、差异检测）被证明有益，尤其对复杂或基于对称性的问题。
• 该方法表明，LLMs仅通过自然语言提示和环境反馈即可生成视觉变换的正确程序，无需微调。
• 该方法优于基线LLM-only文本到程序方法，表明结构化的抽象空间与反馈回路对成功至关重要。

Figure 2: 88% of ARC tasks can be solved by the Builder from just the description alone given by the Describer, without input-output examples. Can GPT-4 function as both the describer and the builder? Image reproduced from Fig. 4 of Acquaviva et al. ( 2021 ) .