[논문 리뷰] Centaur: a foundation model of human cognition

Marcel Binz, Elif Akata외 38명|arXiv (Cornell University)|2024. 10. 26.

Cognitive Science and Education Research인용 수 5

한 줄 요약

Centaur는 Psych-101로 대형 언어 모델을 미세조정하여 인간 인지의 기초 모델을 얻은 것으로, 다양한 실험에 걸쳐 인간 행동을 예측하고 시뮬레이션하며 심지어 신경 데이터와도 정렬된다.

ABSTRACT

Establishing a unified theory of cognition has been a major goal of psychology. While there have been previous attempts to instantiate such theories by building computational models, we currently do not have one model that captures the human mind in its entirety. A first step in this direction is to create a model that can predict human behavior in a wide range of settings. Here we introduce Centaur, a computational model that can predict and simulate human behavior in any experiment expressible in natural language. We derived Centaur by finetuning a state-of-the-art language model on a novel, large-scale data set called Psych-101. Psych-101 reaches an unprecedented scale, covering trial-by-trial data from over 60,000 participants performing over 10,000,000 choices in 160 experiments. Centaur not only captures the behavior of held-out participants better than existing cognitive models, but also generalizes to new cover stories, structural task modifications, and entirely new domains. Furthermore, we find that the model's internal representations become more aligned with human neural activity after finetuning. Taken together, our results demonstrate that it is possible to discover computational models that capture human behavior across a wide range of domains. We believe that such models provide tremendous potential for guiding the development of cognitive theories and present a case study to demonstrate this.

연구 동기 및 목표

• 인간 인지의 단일화된 도메인 일반 모델에 대한 추구를 자극한다.
• 대규모의 trial-by-trial 행동 데이터 세트로 Psych-101를 소개한다.
• 다양한 실험에서 Centaur가 도메인-특정 모델들보다 인간 행동을 더 잘 예측한다는 것을 입증한다.
• 새로운 cover stories, 작업 구조 및 도메인에 일반화되는 Centaur를 보여준다.
• Centaur의 내부 표현이 인간의 신경 활동과 정렬되는지 조사한다.

제안 방법

• 최첨단 언어 모델(Llama 3.1 70B)을 Psych-101에서 quantized low-rank adaptation (QLoRA)으로 조정하고, embedding 계층이 아닌 계층에 어댑터를 사용하여 파인튜닝한다.
• Psych-101를 160개의 심리 실험을 자연어 프롬프트로 전사하여 trial-by-trial 기록을 다루도록 준비한다.
• 약 5일간 A100 GPU에서 교차 엔트로피 손실로 한 에폭 학습하고, 인간 반응 토큰이 아닌 토큰을 마스킹한다.
• held-out 참가자와 실험 전반에 걸쳐 Centaur를 Llama 및 도메인-특정 인지 모델과 비교하기 위해 pseudo-R^2 척도를 사용하여 평가한다.
• Centaur가 인간과 유사한 궤적을 생성하는지 평가하기 위해 open-loop 시뮬레이션을 수행한다.
• 수정된 이야기, 작업 구조, 새 도메인을 포함한 out-of-distribution 테스트를 통해 일반화를 평가한다.
• Centaur의 내부 표현으로부터 fMRI 신호를 예측하고 인간 데이터와 비교하여 신경 정렬을 분석한다.

Figure 2: Performance on Psych-101. a , Pseudo-R 2 values for different models across experiments. A value of zero corresponds to prediction at chance level while a value of one corresponds to perfect predictability of human responses. Missing bars indicate performance below chance level. Centaur ou

실험 결과

연구 질문

• RQ1 Centaur가 광범위한 실험들에서 held-out 인간 행동을 도메인-특정 인지 모델들보다 더 잘 예측할 수 있는가?
• RQ2 Centaur가 보지 못한 실험, cover stories, 작업 구조 및 완전히 새로운 도메인까지 일반화하는가?
• RQ3 파인튜닝 후 Centaur의 내부 표현이 인간의 신경 활동과 더 잘 정렬되는가?
• RQ4 Centaur의 행동에 대한 open-loop 시뮬레이션이 인간의 궤적 분포와 일치하는가?
• RQ5 Baseline 모델에 비해 out-of-distribution 평가에서 Centaur의 성능은 어떠한가?

주요 결과

• 대부분의 실험에서 Centaur가 기본 모델(Llama)과 다수의 도메인-특정 인지 모델들보다 우수하다.
• 미세조정은 평균적으로 Llama에 대해 약 0.14, 도메인-특정 모델에 대해 약 0.18의 평균 pseudo-R^2 향상을 가져왔다.
• Centaur의 open-loop 시뮬레이션은 모델 기반, 모델-프리, 혼합 강화 학습 패턴을 포함한 인간과 유사한 궤적 분포를 생성한다.
• 수정된 cover stories, 추가적인 작업 구조, 전혀 새로운 도메인에 견고한 성능으로 일반화한다.
• Centaur의 내부 표현이 인간의 신경 활동과 더 잘 정렬되어, 과제 전반에서 fMRI 분석의 디코더 가능성을 향상시킨다.

Figure 3: Evaluation in different held-out settings. a , Pseudo-R 2 values for the two-step task with a modified cover story [ 24 ] . b , Pseudo-R 2 values for a three-armed bandit experiment [ 25 ] . c , Pseudo-R 2 values for an experiment probing logical reasoning [ 26 ] . Centaur outperforms both