[논문 리뷰] Large Language Models and Cognitive Science: A Comprehensive Review of Similarities, Differences, and Challenges

Qian Niu, Junyu Liu외 17명|arXiv (Cornell University)|2024. 09. 04.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 대형 언어 모델(LLMs)이 인간 인지와 어떻게 정렬되고 벗어나는지에 대해 조사하고, 평가 방법을 검토하며, 인지 모델로서의 활용을 탐구하고, 인지 아키텍처와의 통합 및 향후 과제를 논의한다.

ABSTRACT

This comprehensive review explores the intersection of Large Language Models (LLMs) and cognitive science, examining similarities and differences between LLMs and human cognitive processes. We analyze methods for evaluating LLMs cognitive abilities and discuss their potential as cognitive models. The review covers applications of LLMs in various cognitive fields, highlighting insights gained for cognitive science research. We assess cognitive biases and limitations of LLMs, along with proposed methods for improving their performance. The integration of LLMs with cognitive architectures is examined, revealing promising avenues for enhancing artificial intelligence (AI) capabilities. Key challenges and future research directions are identified, emphasizing the need for continued refinement of LLMs to better align with human cognition. This review provides a balanced perspective on the current state and future potential of LLMs in advancing our understanding of both artificial and human intelligence.

연구 동기 및 목표

• 인지과학 내에서 인간 인지를 이해하기 위한 도구로서 LLM 연구의 동기를 제시한다.
• 언어, 지각, 추론을 포함한 인간의 인지 과정과 LLM를 비교하고 대조한다.
• LLM의 인지 능력을 평가하기 위한 평가 방법과 벤치마크를 조사한다.
• 다양한 인지과학 분야에서 LLM을 인지 모델로서의 적용과 활용을 탐구한다.
• 향후 연구를 이끌기 위한 인지 아키텍처와의 편향, 한계 및 통합 전략을 식별한다.

제안 방법

• 다수의 영역(언어, 지각, 추론)에서 LLM의 능력을 인간 인지와 비교한다.
• 인지과학에 영감을 받은 평가 방법론(예: 인지 벤치마크, 신경영상 비교)을 검토한다.
• 실험과의 행동적 정렬 및 파인튜닝을 통해 LLM을 인지 모델로 활용하는 방법을 논의한다.
• 모듈식, 에이전시, 신경-기호적 등 인지 아키텍처와의 LLM 통합 접근법을 고찰한다.
• 인과 추론, 어휘 의미론, 창작 작문 분야에서의 도메인별 응용을 조사를 한다.

실험 결과

연구 질문

• RQ1 LLMs와 인간의 인지 과정 사이에 어떤 유사점과 차이점이 존재하는가?
• RQ2 인지과학에서 영감을 받은 방법으로 LLM의 인지 능력을 어떻게 평가할 수 있는가?
• RQ3 파인튜닝된 LLM이 인간 행동의 정확한 인지 모델로서 어느 정도까지 기능할 수 있는가?
• RQ4 LLM의 인지적 편향과 한계는 무엇이며 어떻게 완화할 수 있는가?
• RQ5 LLMs를 인지 아키텍처와 효과적으로 통합하여 AI 시스템을 향상시킬 수 있는 방법은 무엇인가?

주요 결과

• LLMs는 언어 처리에서 인간과 유사한 성능을 보이며 추론에서 프라이밍 및 컨텐츠 효과와 같은 일부 인지 효과를 나타낸다.
• 인간은 일반적으로 새로운 상황이나 분포 외 추론 및 기능적 언어 능력에서 LLM보다 우수하다.
• LLMs는 심리학 실험 데이터로 파인튜닝되면 정밀한 인지 모델이 될 수 있으며, 때때로 의사결정 과제에서 기존 모델을 능가한다.
• LLMs는 인간 추론과 유사한 인지 편향을 보이며, 완화와 주의 깊은 해석이 필요하다.
• 모듈식, 에이전시, 신경-기호적과 같은 다양한 통합 접근법은 LLM과 인지 아키텍처의 강점을 활용하여 AI 시스템을 개선할 수 있다.
• CogBench, 신경영상 비교, 및 수정된 인지 테스트를 포함한 평가 방법은 LLM 인지에 대한 다면적 관점을 제공한다.