[論文レビュー] The ConceptARC Benchmark: Evaluating Understanding and Generalization in the ARC Domain

Arseny Moskvichev, Victor Vikram Odouard+1 more|arXiv (Cornell University)|May 11, 2023

Topic Modeling被引用数 22

ひとこと要約

ConceptARC は ARC における抽象化と一般化を体系的に検証する。タスクを概念グループにクラスタリングし、人間の性能を ARC-Kaggle の上位者および GPT-4 と比較する。概念を跨いで人間が機械より優れている。

ABSTRACT

The abilities to form and abstract concepts is key to human intelligence, but such abilities remain lacking in state-of-the-art AI systems. There has been substantial research on conceptual abstraction in AI, particularly using idealized domains such as Raven's Progressive Matrices and Bongard problems, but even when AI systems succeed on such problems, the systems are rarely evaluated in depth to see if they have actually grasped the concepts they are meant to capture. In this paper we describe an in-depth evaluation benchmark for the Abstraction and Reasoning Corpus (ARC), a collection of few-shot abstraction and analogy problems developed by Chollet [2019]. In particular, we describe ConceptARC, a new, publicly available benchmark in the ARC domain that systematically assesses abstraction and generalization abilities on a number of basic spatial and semantic concepts. ConceptARC differs from the original ARC dataset in that it is specifically organized around "concept groups" -- sets of problems that focus on specific concepts and that are vary in complexity and level of abstraction. We report results on testing humans on this benchmark as well as three machine solvers: the top two programs from a 2021 ARC competition and OpenAI's GPT-4. Our results show that humans substantially outperform the machine solvers on this benchmark, showing abilities to abstract and generalize concepts that are not yet captured by AI systems. We believe that this benchmark will spur improvements in the development of AI systems for conceptual abstraction and in the effective evaluation of such systems.

研究の動機と目的

• AI システムが ARC における抽象概念を本当に把握しているか、近道を利用しているのではないかを評価する。
• 核心概念の多様な具体化を備えた概念中心のベンチマーク（ConceptARC）を作成する。
• 概念グループにおいて、人間の性能を最先端の ARC ソルバーと GPT-4 と比較する。
• 各概念グループ内の変案に対する一般化能力を分析する。

提案手法

• 16 の核となる概念を定義し、概念ごとに 10 の ARC タスクを作成し、各タスクには 3 つのテスト入力を設ける。
• ショートカットではなく、概念理解と一般化を強調するようタスクを手動で設計する。
• オンライン調査を通じて人間を評価し、同じタスクで ARC-Kaggle 上位プログラムと GPT-4 をテストする。
• 1 つのテスト入力につき 3 回の推測を用い、いずれかの推測が正解と一致すれば得点とする。
• 変化に対する一般化を測るため、結果を概念別の正答率として提供する。

実験結果

リサーチクエスチョン

• RQ1 人間は ARC における抽象概念を、さまざまなタスクの具体例を通じて一般化できるのか？
• RQ2 最先端の ARC ソルバーは人間と同様に概念を一般化できるのか？
• RQ3 概念ベースの ARC タスクで、GPT-4 は人間や専門プログラムと比較してどう性能を示すのか？
• RQ4 概念ベースの ARC タスクにおける人間と機械の誤りタイプにはどんなパターンが現れるか？

主な発見

概念	人間	ARC-Kaggle 第1位	ARC-Kaggle 第2位	GPT-4
Above and Below	0.90	0.70	0.33	0.23
Center	0.94	0.50	0.20	0.33
Clean Up	0.97	0.50	0.20	0.20
Complete Shape	0.85	0.47	0.30	0.23
Copy	0.94	0.23	0.27	0.23
Count	0.88	0.60	0.40	0.13
Extend To Boundary	0.93	0.77	0.47	0.07
Extract Objects	0.86	0.43	0.43	0.03
Filled and Not Filled	0.96	0.73	0.43	0.17
Horizontal and Vertical	0.91	0.43	0.10	0.27
Inside and Outside	0.91	0.57	0.10	0.10
Move To Boundary	0.91	0.37	0.30	0.20
Order	0.83	0.27	0.23	0.27
Same and Different	0.88	0.53	0.17	0.17
Top and Bottom 2D	0.95	0.60	0.57	0.23
Top and Bottom 3D	0.93	0.50	0.03	0.20

• 人間はすべての概念グループで機械ソルバーを大幅に上回る。
• 平均的な人間の正解率は、概念ごとに最良の ARC-Kaggle プログラムを約40ポイント上回る。
• GPT-4 は ConceptARC では全体的に低く、16の概念のうち15の概念で正解率が30%未満。
• ARC-Kaggle 上位プログラムは元の ARC での性能と比較して相対的には改善するが、人間レベルには大きく及ばない。
• いくつかのタスクでは人間のミス直前の誤りが見られる一方、機械の誤りは往々にして解釈しづらい。
• ConceptARC は元の ARC データセットを超えた一般化能力のより明確な差別化を可能にする。