[論文レビュー] Mind meets machine: Unravelling GPT-4's cognitive psychology

Sifatkaur, Manmeet Mahinderjit Singh+3 more|arXiv (Cornell University)|Mar 20, 2023

Topic Modeling被引用数 5

ひとこと要約

本研究では、CommonsenseQA、MATH、SuperGLUE、HANSの4つのベンチマークデータセットを用いて、GPT-4の認知心理学的能力を評価し、GPT-4が最先端のパフォーマンスを達成していることを示している。CommonsenseQAでは83.2%、SuperGLUEでは91.2%、prealgebraでは84%、HANSでは100%の正答率を記録しており、人間の認知に類似した高度な推論と文脈統合能力を示している。

ABSTRACT

Cognitive psychology delves on understanding perception, attention, memory, language, problem-solving, decision-making, and reasoning. Large language models (LLMs) are emerging as potent tools increasingly capable of performing human-level tasks. The recent development in the form of GPT-4 and its demonstrated success in tasks complex to humans exam and complex problems has led to an increased confidence in the LLMs to become perfect instruments of intelligence. Although GPT-4 report has shown performance on some cognitive psychology tasks, a comprehensive assessment of GPT-4, via the existing well-established datasets is required. In this study, we focus on the evaluation of GPT-4's performance on a set of cognitive psychology datasets such as CommonsenseQA, SuperGLUE, MATH and HANS. In doing so, we understand how GPT-4 processes and integrates cognitive psychology with contextual information, providing insight into the underlying cognitive processes that enable its ability to generate the responses. We show that GPT-4 exhibits a high level of accuracy in cognitive psychology tasks relative to the prior state-of-the-art models. Our results strengthen the already available assessments and confidence on GPT-4's cognitive psychology abilities. It has significant potential to revolutionize the field of AI, by enabling machines to bridge the gap between human and machine reasoning.

研究の動機と目的

• 基本的なベンチマークを超えた、確立された標準化されたデータセットを用いて、GPT-4の認知心理学的能力を包括的に評価すること。
• GPT-4が、共通認識の推論、数学的問題解決、自然言語帰納などの複雑な認知的タスクにおいて、文脈的情報と推論をどのように統合するかを評価すること。
• GPT-4が、深い推論とヒューリスティックの回避を要する分野において、先行する最先端モデルを上回っているかどうかを特定すること。
• GPT-4が、ヒューリスティックに依存しているのか、それともHANSのようなヒューリスティックバイアスをテストするデータセットで、人間と類似した頑健な推論を示しているのかを調査すること。
• GPT-4の認知的パフォーマンスを人間のベンチマークと照合することで、心理的研究や臨床的応用における実用的ツールとしてのGPT-4の有効性を確立すること。

提案手法

• GPT-4をChatGPT-Plus API経由でアクセスし、CommonsenseQA、MATH、SuperGLUE、HANSの4つの認知心理学的データセットにおけるパフォーマンスを評価した。
• MATHおよびCommonsenseQAには正確一致と標準評価指標を、SuperGLUEおよびHANSには標準的なNLI評価プロトコルを適用した。
• 推論と出力生成を引き出すように設計されたプロンプトを適用し、元のデータセット形式および評価基準と一貫性を保った。
• 元の研究で報告されたベースラインモデル（例：BERT、GPT-2/GPT-3）および人間のパフォーマンスと比較した。
• 非含意パターンの記憶に起因する可能性を検証するため、混合HANSデータを用いた継続的な実験を実施した。
• 特にHANSにおいて、ヒューリスティックに基づく推論の兆候をモデルの出力から分析し、パフォーマンスが頑健な推論に起因するのか、それとも表面的なパターンマッチングに起因するのかを評価した。

Figure 1: Datasets used in the study with the different categories contained in them.

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、共通認識の推論や数学的問題解決などの認知的推論タスクにおいて、先行する言語モデルをどの程度上回っているか。
• RQ2 GPT-4はSuperGLUEおよびHANSで頑健な推論を示しているのか、それとも一般化性を損なう可能性のある語彙的・構文的ヒューリスティックに依存しているのか。
• RQ3 MATHおよびCommonsenseQAにおけるGPT-4のパフォーマンスは、人間のベンチマークおよび以前のモデルと比較して、正確性と推論の深さの両面でどの程度異なるか。
• RQ4 GPT-4が人間と類似した認知的プロセスを模倣できる能力を有していることから、心理的研究の信頼できる道具と見なせるか。
• RQ5 GPT-4がHANSで示したパフォーマンスは、自然言語帰納における浅いヒューリスティックへの感受性または回避性について、どのような洞察を提供するか。

主な発見

• GPT-4はCommonsenseQAで83.2%の正答率を記録し、ベースライン言語モデル（55.9%）を著しく上回り、人間水準（89%）に近づいている。
• SuperGLUEベンチマークでは、GPT-4が91.2%の正答率を達成し、複雑な自然言語理解と推論タスクにおける強力なパフォーマンスを示している。
• MATHデータセットでは、GPT-4がprealgebra問題で84%の正答率を記録し、GPT-2およびGPT-3が同様のタスクで10%未満のパフォーマンスを示したのとは対照的である。
• GPT-4はHANSデータセットで完璧な100%の正答率を達成したが、これはテストセット内の非含意パターンの記憶に起因している可能性がある。
• MATH内の幾何学的問題では、GPT-4が35%の正答率を記録しており、他の分野での優れたパフォーマンスとは対照的に、空間的・幾何的推論における継続的な課題が示されている。
• 本研究は、GPT-4が認知心理学のベンチマークにおいて、先行する最先端モデルを上回っていることを確認しており、文脈的要因と推論メカニズムの高度な統合を示唆している。

Figure 2: Examples of sample prompts and the respective responses of GPT4 on CommonsenseQA, MATH and SuperGLUE datasets