[논문 리뷰] CogBench: a large language model walks into a psychology lab

Julian Coda-Forno, Marcel Binz외 2명|arXiv (Cornell University)|2024. 02. 28.

Innovative Teaching and Learning Methods인용 수 5

한 줄 요약

CogBench은 표준 정확도를 넘어 성능과 인지 유사 행동을 프로파일링하기 위해 7가지 인지 심리학 실험의 10개 지표로 LLM들을 평가하는 행동 벤치마크를 도입한다. 총 35개의 LLM을 평가한다.

ABSTRACT

Large language models (LLMs) have significantly advanced the field of artificial intelligence. Yet, evaluating them comprehensively remains challenging. We argue that this is partly due to the predominant focus on performance metrics in most benchmarks. This paper introduces CogBench, a benchmark that includes ten behavioral metrics derived from seven cognitive psychology experiments. This novel approach offers a toolkit for phenotyping LLMs' behavior. We apply CogBench to 35 LLMs, yielding a rich and diverse dataset. We analyze this data using statistical multilevel modeling techniques, accounting for the nested dependencies among fine-tuned versions of specific LLMs. Our study highlights the crucial role of model size and reinforcement learning from human feedback (RLHF) in improving performance and aligning with human behavior. Interestingly, we find that open-source models are less risk-prone than proprietary models and that fine-tuning on code does not necessarily enhance LLMs' behavior. Finally, we explore the effects of prompt-engineering techniques. We discover that chain-of-thought prompting improves probabilistic reasoning, while take-a-step-back prompting fosters model-based behaviors.

연구 동기 및 목표

• 성능만을 기준으로 한 벤치마크를 넘어서, 인지 심리학 패러다임을 사용하여 기본적인 LLM 행동을 이해하도록 동기를 부여한다.
• 다양한 작업과 행동에 걸쳐 LLM을 표식화하기 위한 표준화되고 개방된 벤치마크를 제공한다.
• 모델 크기, RLHF 및 기타 학습 선택이 성능과 인지 유사 행동 모두와 어떻게 관련되는지 평가한다.
• 프롬프트 엔지니어링 기법이 확률적 추론 및 모델 기반 행동에 어떤 영향을 미치는지 탐구한다.

제안 방법

• 온-컨텍스트 프롬프트를 사용하고 결정적 설정(temperature=0)으로 평가한 35개의 LLM(독점 및 오픈 소스).
• 일곱 개의 정형 인지 심리학 실험에서 파생된 열 가지 행동 지표를 채택한다.
• 계산적 인지 모델링과 다층 회귀를 적용하여 중첩된 모델 계층구조(예: 미세조정된 버전)를 분석한다.
• 프롬프트 체인을 사용하여 과거 행동을 수집하고 모델 미세조정 없이 학습을 유도한다.
• 차원 축소(UMAP) 및 회귀 분석을 통해 RLHF 모델과 비-RLHF 모델을 비교한다.
• CoT 프롬프트와 SB 프롬프트가 확률적 추론 및 모델 기반성에 미치는 영향을 검토한다.

실험 결과

연구 질문

• RQ1 CogBench로 측정된 확률적 추론, 탐색, 메타 인지, 모델 기반성, 시간적 할인, 위험 추구, 학습 전략에서 LLM들이 어떻게 차이 나는가?
• RQ2 모델 크기, 데이터 규모, 코드-학습이 성능 및 행동 표현형에 어느 정도 영향을 미치는가?
• RQ3 RLHF가 LLM을 인간 행동에 더 가깝게 정렬하고 메타 인지를 향상시키는가?
• RQ4 프롬프트 기술(CoT, SB)이 특정 행동 지표에 미치는 효과는 무엇인가?
• RQ5 오픈 소스 모델이 독점 모델과 비교하여 다른 위험 프로파일을 나타내는가?

주요 결과

• 더 큰 모델은 일반적으로 더 나은 성능을 보이고 더 많은 모델 기반 행동을 나타낸다.
• RLHF 모델은 인간에 더 가까운 행동을 보이고 불확실성을 더 정확하게 추정한다.
• 다른 요인을 통제할 때 오픈 소스 모델은 독점 모델보다 위험을 덜 감수하는 경향이 있다.
• 코드 미세조정은 CogBench 과제 전반에서 행동 개선의 증거가 거의 없다.
• CoT 프롬 prompting은 확률적 추론을 향상하고, SB 프롬 prompting은 모델 기반 행동을 향상시킨다.