[論文レビュー] LLMs and the Abstraction and Reasoning Corpus: Successes, Failures, and the Importance of Object-based Representations

Yudong Xu, Wenhao Li+3 more|arXiv (Cornell University)|May 26, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿は、抽象的推論タスクを対象とするAbstraction and Reasoning Corpus (ARC)におけるGPT-4の限界を調査し、逐次的表現である純粋なテキスト表現が物体認識を妨げることを明らかにした。外部ツール（ARGA）を用いて物体ベースの表現を導入することで、ARCタスクにおける性能がほぼ2倍に向上し、簡略化された1D-ARCベンチマークではほぼ完璧なスコアが達成された。これは、構造的表現が非言語的ドメインにおけるLLMの推論を著しく向上させることを示している。

ABSTRACT

Can a Large Language Model (LLM) solve simple abstract reasoning problems? We explore this broad question through a systematic analysis of GPT on the Abstraction and Reasoning Corpus (ARC), a representative benchmark of abstract reasoning ability from limited examples in which solutions require some "core knowledge" of concepts such as objects, goal states, counting, and basic geometry. GPT-4 solves only 13/50 of the most straightforward ARC tasks when using textual encodings for their two-dimensional input-output grids. Our failure analysis reveals that GPT-4's capacity to identify objects and reason about them is significantly influenced by the sequential nature of the text that represents an object within a text encoding of a task. To test this hypothesis, we design a new benchmark, the 1D-ARC, which consists of one-dimensional (array-like) tasks that are more conducive to GPT-based reasoning, and where it indeed performs better than on the (2D) ARC. To alleviate this issue, we propose an object-based representation that is obtained through an external tool, resulting in nearly doubling the performance on solved ARC tasks and near-perfect scores on the easier 1D-ARC. Although the state-of-the-art GPT-4 is unable to "reason" perfectly within non-language domains such as the 1D-ARC or a simple ARC subset, our study reveals that the use of object-based representations can significantly improve its reasoning ability. Visualizations, GPT logs, and data are available at https://khalil-research.github.io/LLM4ARC.

研究の動機と目的

• GPT-4が、物体性や数的知識といった人間の認知的前提に根ざしたAbstraction and Reasoning Corpus (ARC)の抽象的推論タスクをどの程度解けるかを評価すること。
• GPT-4が強力な言語能力を備えているにもかかわらずARCタスクに失敗する理由を診断すること、特にテキスト符号化が物体認識に与える影響に焦点を当てる。
• 次元を低減することでLLMの順序処理に適した1次元のARC（1D-ARC）の簡略化されたバージョンを設計し、LLM推論性能が向上するかをテストすること。
• 外部の物体ベース表現ツール（ARGA）がGPT-4のARCタスクにおける推論性能をどの程度向上させるかを評価すること。
• 非言語的・視覚的論理的ドメインにおけるLLM推論を向上させるために、構造的表現が果たす役割を明らかにすること。

提案手法

• 著者たちは、ARCタスクの2次元入出力グリッドを純粋なテキスト符号化で表現し、GPT-4にプロンプトとして入力することで、標準的なLLM推論設定をシミュレートした。
• LLMが順序処理に適した1次元の配列的タスクからなる、新しいベンチマーク「1D-ARC」を導入した。
• 外部ツールであるARGA（ARC Graphical Analyzer）を用いてARCタスクから物体ベースの表現を抽出し、それをプロンプトに組み込んでGPT-4の推論をガイドした。
• 50の標準ARCタスクと1D-ARCサブセットでの性能を評価し、正しい出力グリッドを予測する正答率を測定した。
• GPTログと可視化を用いたアブレーションおよび失敗分析を通じて、特に物体同一定着や空間的推論に関する誤りを追跡した。
• GPT-4Vを用いたマルチモーダル評価を実施し、純粋な言語モデルと性能を比較した。

Figure 1: Example of solving an ARC task with GPT. An “ARC Task” consists of a set of training input-output pairs followed by a test input for which GPT should produce a correct output. To do so, a prompt is created. It includes high-level instructions on what GPT should do, optionally with addition

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、2次元グリッドの標準的テキスト符号化を用いた場合、なぜ多数のARCタスクを解けないのか？
• RQ2 1D-ARCによるタスク次元の低減は、GPT-4の抽象的推論タスクにおける推論性能をどの程度向上させるのか？
• RQ3 外部の物体ベース表現ツール（ARGA）の統合が、GPT-4のARCタスクにおける性能を著しく向上させるのか？
• RQ4 GPT-4VのようなマルチモーダルLLMは、純粋な言語モデルと比較してARCタスクでどの程度の性能を示すのか？これは視覚的・言語的推論に関する何を明らかにするか？
• RQ5 GPT-4がARCタスクを解く際に最も苦労する部分能力（抽象化、推論、実行）は何か？そして、それらをさらに分析可能にするためにどのように分離できるか？

主な発見

• GPT-4は、2次元グリッドの純粋なテキスト符号化を用いた場合、50の標準ARCタスクのうちたった13問しか正しく解けず、非順序的物体表現に対する推論に著しい制限があることが示された。
• 1D-ARCベンチマークでは2D-ARCより性能が向上したが、GPT-4は依然として多くのタスクで失敗しており、次元の簡略化だけでは根本的な表現の問題を克服できないことが示された。
• ARGAによる外部の物体ベース表現を導入することで、GPT-4のARCタスクにおける性能がほぼ2倍に向上し、正解数は50問中13問から25問に増加した。
• より簡単な1D-ARCベンチマークでは、物体ベースのアプローチによりほぼ完璧な性能が達成され、GPT-4は50問中48問を正しく解いた。
• GPT-4Vでさえ、マルチモーダル入力（画像とテキスト）を用いても、ARCタスクのうち50問中たった2問しか正しく解けず、GPT-4 や LLaMA2-13Bといったより小さい言語モデルでさえも下回る性能を示した。
• 失敗分析から、GPT-4は物体の境界が明確に示されない場合、空間的構造が逐次的テキストにフラット化された際に、一貫性があり持続的な物体を識別・推論する能力に欠けることが明らかになった。

Figure 2: Sample ARC Tasks. Three tasks (separated by dashed lines) are shown. For a given task, each column contains one example input-output pair. The first two columns contain the “training" instances and the third column contains the “test" instance. The goal is to use the training instances to