[論文レビュー] Large Language Models and Cognitive Science: A Comprehensive Review of Similarities, Differences, and Challenges

Qian Niu, Junyu Liu+17 more|arXiv (Cornell University)|Sep 4, 2024

Topic Modeling被引用数 10

ひとこと要約

この論文は Large Language Models (LLMs) が人間の認知とどのように整合し、またどのように逸脱するかを概説し、評価手法をレビューし、認知モデルとしての利用を探り、認知アーキテクチャとの統合と将来の課題を論じる。

ABSTRACT

This comprehensive review explores the intersection of Large Language Models (LLMs) and cognitive science, examining similarities and differences between LLMs and human cognitive processes. We analyze methods for evaluating LLMs cognitive abilities and discuss their potential as cognitive models. The review covers applications of LLMs in various cognitive fields, highlighting insights gained for cognitive science research. We assess cognitive biases and limitations of LLMs, along with proposed methods for improving their performance. The integration of LLMs with cognitive architectures is examined, revealing promising avenues for enhancing artificial intelligence (AI) capabilities. Key challenges and future research directions are identified, emphasizing the need for continued refinement of LLMs to better align with human cognition. This review provides a balanced perspective on the current state and future potential of LLMs in advancing our understanding of both artificial and human intelligence.

研究の動機と目的

• 認知科学の枠内で、LLMs を人間の認知を理解するための道具として研究する動機を提示する。
• 言語、知覚、推論の各領域にわたって、LLMs と人間の認知プロセスを比較・対比する。
• LLM の認知能力を評価するための評価手法とベンチマークを調査する。
• LLMs を認知モデルとして調査し、さまざまな認知科学分野での応用を検討する。
• 認知アーキテクチャとの統合戦略とともに、偏見・限界を特定し、今後の研究を導く。

提案手法

• 複数の領域（言語、知覚、推論）にわたって、LLMs の能力を人間の認知と比較する。
• 認知科学に触発された評価方法論をレビューする（例: 認知ベンチマーク、神経画像の比較）。
• 実験による微調整と行動の整合性を通じて、LLMs を認知モデルとして用いることを論じる。
• モジュラー、エージェンシー、ニューロシンボリックといった、LLMs と認知アーキテクチャの統合アプローチを検討する。
• 原因推論、語彙意味論、創作表現など、領域特有の応用を調査する。

実験結果

リサーチクエスチョン

• RQ1 LLMs と人間の認知プロセスの間にはどのような類似点と相違点があるか？
• RQ2 認知科学に触発された方法で LLM の認知能力をどのように評価できるか？
• RQ3 微調整されたLLMs は人間行動の正確な認知モデルとしてどの程度機能しうるか？
• RQ4 LLMs の認知バイアスと限界は何で、どのように緩和できるか？
• RQ5 LLMs を認知アーキテクチャと効果的に統合してAIシステムを強化するにはどうすればよいか？

主な発見

• LLMs は言語処理において人間に似た性能を示し、推論における前刺激効果（priming）や内容効果などのいくつかの認知効果を示す。
• 人間は一般に新規または分布外の推論および機能的言語能力において、LLMs を上回る。
• LLMs は心理学実験データで微調整すると正確な認知モデルとなり、時には意思決定タスクで従来のモデルを上回る。
• LLMs は人間の推論と類似した認知バイアスを示し、緩和と慎重な解釈が必要である。
• モジュラー、エージェンシー、ニューロシンボリックといった多様な統合アプローチは、LLMs と認知アーキテクチャの長所を活用してAIシステムを改善できる。
• CogBench、神経画像比較、適応された認知テストを含む評価手法は、LLM 認知の多面的な見解を提供する。