[논문 리뷰] The ConceptARC Benchmark: Evaluating Understanding and Generalization in the ARC Domain

Arseny Moskvichev, Victor Vikram Odouard외 1명|arXiv (Cornell University)|2023. 05. 11.

Topic Modeling인용 수 22

한 줄 요약

ConceptARC는 ARC에서 추상화와 일반화를 체계적으로 검증합니다. 작업을 개념 그룹으로 클러스터링하고 인간의 성능을 ARC-Kaggle 수상작 및 GPT-4와 비교합니다; 인간은 모든 개념에서 기계보다 우수합니다.

ABSTRACT

The abilities to form and abstract concepts is key to human intelligence, but such abilities remain lacking in state-of-the-art AI systems. There has been substantial research on conceptual abstraction in AI, particularly using idealized domains such as Raven's Progressive Matrices and Bongard problems, but even when AI systems succeed on such problems, the systems are rarely evaluated in depth to see if they have actually grasped the concepts they are meant to capture. In this paper we describe an in-depth evaluation benchmark for the Abstraction and Reasoning Corpus (ARC), a collection of few-shot abstraction and analogy problems developed by Chollet [2019]. In particular, we describe ConceptARC, a new, publicly available benchmark in the ARC domain that systematically assesses abstraction and generalization abilities on a number of basic spatial and semantic concepts. ConceptARC differs from the original ARC dataset in that it is specifically organized around "concept groups" -- sets of problems that focus on specific concepts and that are vary in complexity and level of abstraction. We report results on testing humans on this benchmark as well as three machine solvers: the top two programs from a 2021 ARC competition and OpenAI's GPT-4. Our results show that humans substantially outperform the machine solvers on this benchmark, showing abilities to abstract and generalize concepts that are not yet captured by AI systems. We believe that this benchmark will spur improvements in the development of AI systems for conceptual abstraction and in the effective evaluation of such systems.

연구 동기 및 목표

• AI 시스템이 ARC에서 실제로 추상적 개념을 이해하는지, 아니면 지름길에 의존하는지 평가합니다.
• 핵심 개념의 다양한 구현을 갖춘 개념 중심 벤치마크(ConceptARC)를 만듭니다.
• 개념 그룹에서 인간의 성능을 최첨단 ARC 솔버와 GPT-4와 비교합니다.
• 각 개념 그룹 내 다양한 변형에 대한 일반화 능력을 분석합니다.

제안 방법

• 16개의 핵심 개념을 정의하고 각 개념당 10개의 ARC 작업을 만들며 각 작업마다 세 가지 테스트 입력이 있습니다.
• 지름길이 아닌 개념 이해와 일반화를 강조하도록 수작업으로 작업을 설계합니다.
• 온라인 연구를 통해 인간을 평가하고 동일한 작업에서 ARC-Kaggle 최상위 프로그램과 GPT-4를 테스트합니다.
• 각 테스트 입력에 대해 세 번의 추측을 사용하고, 어떤 추측이도 정답과 일치하면 점수를 부여합니다.
• 변형에 걸친 일반화를 측정하기 위해 개념별 정확도로 결과를 제공합니다.

실험 결과

연구 질문

• RQ1 다양한 작업 구현에서 인간이 ARC의 추상적 개념을 일반화할 수 있는가?
• RQ2 최신 ARC 솔버가 인간처럼 개념을 일반화하는가?
• RQ3 GPT-4는 인간과 특화된 프로그램에 비해 개념 기반 ARC 작업에서 어떻게 수행하는가?
• RQ4 개념 기반 ARC 작업에서 인간 vs. 기계의 오류 유형에서 어떤 패턴이 나타나는가?

주요 결과

• 모든 개념 그룹에서 인간이 기계 솔버보다 현저히 우수합니다.
• 평균 인간 정확도가 개념당 약 40퍼센트포인트 더 높습니다.
• GPT-4는 ConceptARC에서 일반적으로 저조한 성능을 보이며 16개 개념 중 15개에서 정확도가 30% 미만입니다.
• ARC-Kaggle 최상위 프로그램은 원래 ARC 성능 대비 향상되지만 인간 수준에는 여전히 미칩니다.
• 일부 작업에서 인간의 근사 오차가 보이고, 기계 오차는 해석하기 어려운 경우가 많습니다.
• ConceptARC는 원래 ARC 데이터셋을 넘어 일반화 능력을 더 명확하게 구분할 수 있게 해줍니다.