[논문 리뷰] LLMs and the Abstraction and Reasoning Corpus: Successes, Failures, and the Importance of Object-based Representations

Yudong Xu, Wenhao Li외 3명|arXiv (Cornell University)|2023. 05. 26.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 GPT-4가 추상적 추론 작업을 해결하는 데서 나타나는 한계를 조사하며, 추상적 추론 벤치마크(ARC)에서 순수 텍스트 기반 인코딩이 순차적 표현으로 인해 물체 인식을 방해함을 드러낸다. 외부 도구(ARGA)를 통해 물체 기반 표현을 도입함으로써 ARC 작업에서 성능이 거의 두 배로 향상되었고, 단순화된 1D-ARC 벤치마크에서는 거의 완벽한 점수를 기록하여, 구조화된 표현 방식이 비언어적 도메인에서 LLM의 추론 능력을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

Can a Large Language Model (LLM) solve simple abstract reasoning problems? We explore this broad question through a systematic analysis of GPT on the Abstraction and Reasoning Corpus (ARC), a representative benchmark of abstract reasoning ability from limited examples in which solutions require some "core knowledge" of concepts such as objects, goal states, counting, and basic geometry. GPT-4 solves only 13/50 of the most straightforward ARC tasks when using textual encodings for their two-dimensional input-output grids. Our failure analysis reveals that GPT-4's capacity to identify objects and reason about them is significantly influenced by the sequential nature of the text that represents an object within a text encoding of a task. To test this hypothesis, we design a new benchmark, the 1D-ARC, which consists of one-dimensional (array-like) tasks that are more conducive to GPT-based reasoning, and where it indeed performs better than on the (2D) ARC. To alleviate this issue, we propose an object-based representation that is obtained through an external tool, resulting in nearly doubling the performance on solved ARC tasks and near-perfect scores on the easier 1D-ARC. Although the state-of-the-art GPT-4 is unable to "reason" perfectly within non-language domains such as the 1D-ARC or a simple ARC subset, our study reveals that the use of object-based representations can significantly improve its reasoning ability. Visualizations, GPT logs, and data are available at https://khalil-research.github.io/LLM4ARC.

연구 동기 및 목표

• GPT-4가 물체성과 수학적 지식과 같은 핵심 인간 인지 전제 조건에 기반한 추상적 추론 벤치마크인 Abstraction and Reasoning Corpus(ARC)의 작업을 해결할 능력을 평가하기 위해.
• GPT-4가 강력한 언어 능력을 지니고 있음에도 불구하고 ARC 작업에서 실패하는 이유를 진단하기 위해, 특히 텍스트 인코딩이 물체 인식에 미치는 영향을 집중적으로 분석하기 위해.
• 차원 감소를 통해 LLM 추론 성능을 향상시킬 수 있는지 테스트하기 위해, ARC의 단순화된 일차원 버전(1D-ARC)을 설계하기 위해.
• 외부 물체 기반 표현 도구(ARGA)가 GPT-4의 ARC 작업 추론 능력을 향상시키는 데 얼마나 효과적인지 평가하기 위해.
• 비언어적이고 시각적 논리적 도메인에서 LLM 추론 능력을 향상시키는 데 있어 구조화된 표현 방식의 역할을 탐색하기 위해.

제안 방법

• 저자는 ARC 작업의 2차원 입력-출력 격자에 순수 텍스트 인코딩을 사용하여 GPT-4에 프롬프트를 제공함으로써 표준 LLM 추론 설정을 시뮬레이션한다.
• LLM의 순차적 텍스트 처리에 더 적합한 배열 기반의 일차원 작업으로 구성된 새로운 벤치마크인 1D-ARC를 도입한다.
• 외부 도구인 ARGA(ARC 그래픽 분석기)를 사용하여 ARC 작업에서 물체 기반 표현을 추출하고, 이를 프롬프트에 통합하여 GPT-4의 추론을 안내한다.
• 표준 ARC 작업 50개와 1D-ARC 서브셋에서 성능을 평가하여 정확도를 측정하며, 정확한 출력 격자 예측 능력을 분석한다.
• GPT 로그와 시각화를 활용한 아블레이션 및 실패 분석을 통해 추론 오류, 특히 물체 식별과 공간적 추론과 관련된 오류를 추적한다.
• 이미지와 텍스트 입력을 함께 사용하는 GPT-4V를 활용한 다중모odal 평가를 수행하여 순수 언어 모델과의 성능을 비교한다.

Figure 1: Example of solving an ARC task with GPT. An “ARC Task” consists of a set of training input-output pairs followed by a test input for which GPT should produce a correct output. To do so, a prompt is created. It includes high-level instructions on what GPT should do, optionally with addition

실험 결과

연구 질문

• RQ1 GPT-4는 2차원 격자에 대한 표준 텍스트 인코딩을 사용할 경우 왜 다수의 ARC 작업을 해결하지 못하는가?
• RQ2 1D-ARC를 통해 작업 차원을 감소시키는 것이 GPT-4의 추상적 추론 작업 성능에 어느 정도 향상시키는가?
• RQ3 외부 물체 기반 표현 도구(ARGA)의 통합이 ARC 작업에서 GPT-4의 성능을 크게 향상시킬 수 있는가?
• RQ4 GPT-4V와 같은 다중모달 LLM은 순수 언어 모델과 비교하여 ARC 작업에서 어떻게 성능을 내며, 이는 시각-언어적 추론에 대해 어떤 통찰을 제공하는가?
• RQ5 GPT-4는 ARC 작업 해결 과정에서 추상화, 추론, 실행 중 어떤 하위 능력에서 가장 어려움을 겪는가? 이 능력을 분리하여 추가 분석이 가능할까?

주요 결과

• GPT-4는 순수 텍스트 기반 2차원 격자 인코딩을 사용할 경우 표준 ARC 작업 50개 중 단지 13개를 해결하며, 순차적이지 않은 물체 표현에 대한 추론 능력에 심각한 한계를 보임을 시사한다.
• 1D-ARC 벤치마크에서의 성능은 2D ARC보다 향상되었지만, GPT-4는 여전히 많은 작업에서 실패함을 보여주며, 단순화만으로도 핵심 표현 문제를 해결하기에는 부족함을 드러낸다.
• ARGA를 통한 외부 물체 기반 표현을 도입함으로써 GPT-4의 ARC 작업 성능이 거의 두 배로 향상되었으며, 50개 중 13개에서 25개로 정답 수가 증가하였다.
• 더 간단한 1D-ARC 벤치마크에서는 물체 기반 접근 방식이 거의 완벽한 성능을 기록하였으며, GPT-4는 50개 중 48개의 작업을 해결하였다.
• GPT-4V는 다중모달 입력(이미지 및 텍스트)을 사용함에도 불구하고 ARC 작업 50개 중 단지 2개를 해결하여, GPT-4나 LLaMA2-13B와 같은 더 작은 언어 모델조차도 뒤지게 되었으며, 뚜렷한 성능 열등성을 보였다.
• 실패 분석 결과, GPT-4는 물체의 경계가 명확히 표시되지 않거나 공간적 구조가 순차적 텍스트로 평탄화된 경우, 일관되고 지속적인 물체를 인식하고 추론하는 데 어려움을 겪는 것으로 나타났다.

Figure 2: Sample ARC Tasks. Three tasks (separated by dashed lines) are shown. For a given task, each column contains one example input-output pair. The first two columns contain the “training" instances and the third column contains the “test" instance. The goal is to use the training instances to