[論文レビュー] Comparing Humans, GPT-4, and GPT-4V On Abstraction and Reasoning Tasks

Melanie Mitchell, Alessandro B. Palmarini+1 more|arXiv (Cornell University)|Nov 14, 2023

Topic Modeling被引用数 20

ひとこと要約

この論文は ConceptARC の抽象推論においてテキストのみの GPT-4 とマルチモーダル GPT-4V を評価し、GPT-4 はよりリッチな one-shot プロンプトで改善するものの人間および専門的アルゴリズムには届かず、GPT-4V はとくに最小限の視覚タスクで悪い結果を示す、という結果を示しています。

ABSTRACT

We explore the abstract reasoning abilities of text-only and multimodal versions of GPT-4, using the ConceptARC benchmark [10], which is designed to evaluate robust understanding and reasoning with core-knowledge concepts. We extend the work of Moskvichev et al. [10] by evaluating GPT-4 on more detailed, one-shot prompting (rather than simple, zero-shot prompts) with text versions of ConceptARC tasks, and by evaluating GPT-4V, the multimodal version of GPT-4, on zero- and one-shot prompts using image versions of the simplest tasks. Our experimental results support the conclusion that neither version of GPT-4 has developed robust abstraction abilities at humanlike levels.

研究の動機と目的

• GPT-4（テキスト）がよりリッチな one-shot プロンプトを用いて ConceptARC で頑健な抽象推論を発展させることができるかを評価する。
• 視覚的 ConceptARC タスクに対する GPT-4V（マルチモーダル）を評価し、テキストベースの GPT-4 と比較する。
• ConceptARC の概念群に対する人間のベースラインとモデルの性能を比較する。
• 最小限の（視覚的）タスクがマルチモーダルモデルを有利にするかを調査する。
• プロンプティングとタスク表現がモデルの抽象能力に与える影響を評価する。

提案手法

• ConceptARC を使用する。コア概念ごとに整理されたグリッドベースの抽象推論タスクのデータセット。
• すべての 480 の ConceptARC タスクに対して solved 例を含む詳細な one-shot プロンプトを用いてテキストのみの GPT-4 をテストする。
• 最小限の ConceptARC タスクに対して画像表現を用い、ゼロショットおよびワンショットのプロンプトの両方で GPT-4V をテストする。
• これまでの ConceptARC 研究における人間の性能と GPT-4 および GPT-4V の結果を比較する。
• 概念ごとおよび全体の正解率を報告し、最小タスクのベースラインを含める。
• 補足資料にプロンプトと実験設定の詳細を提供する。

実験結果

リサーチクエスチョン

• RQ1 より情報量の多い one-shot プロンプトは ConceptARC における GPT-4 の抽象推論性能を人間レベルに近づけるか？
• RQ2 GPT-4V のマルチモーダル入力は ConceptARC における抽象推論性能をテキストのみの GPT-4 と比較して改善するか、あるいは悪化させるか？
• RQ3 GPT-4 および GPT-4V は ConceptARC の概念群および最小タスクにおいて人間の性能とどのように比較されるか？
• RQ4 性能ギャップは現在の LLM における頑健な抽象化能力の有無をどのように示唆しているか？
• RQ5 最小で視覚的に表現されたタスクは LLM にとって易しく、マルチモーダリティはそれらの場合に役立つか？

主な発見

概念	人間	GPT-4 Temp=0	GPT-4 Temp=0.5	すべての概念
All concepts	0.91	0.33	0.33
All concepts (Table 1)	0.91	0.33	0.33

• GPT-4 の one-shot プロンプティングは ConceptARC テキストタスクの正確性を以前のゼロショット結果と比較して大幅に改善するが、人間の性能にはまだ及ばない。
• GPT-4 は prompting が改善されても ConceptARC の頑健な抽象推論にはまだ遠い。
• GPT-4V の最小の視覚的 ConceptARC タスクでの性能は、テキストのみの GPT-4 の結果より顕著に悪い。
• 最小タスクでは人間は GPT-4 を大幅に上回り、GPT-4V は両者と比較しても悪い。
• GPT-4V の最小タスクでのゼロショットとワンショットの結果はそれぞれ 0.25 と 0.23 であり、マッチング設定における GPT-4 のテキストベースの結果（0.69–0.65）からは遠い。
• 全体として、本研究は現在の LLM が人間のような抽象推論や核心概念の頑健な一般化を達成していないことを補強する。