[논문 리뷰] Towards a Psychology of Machines: Large Language Models Predict Human Memory

Markus Huff, Elanur Ulakçı|arXiv (Cornell University)|2024. 03. 08.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Models, LLMs), 예를 들어 ChatGPT와 같은 모델들이 맥락 의존적 기억 작업에서 인간의 기억 성과를 정확하게 예측할 수 있음을 보여준다. 적합하거나 부적합한 맥락이 뒤이은 길드패스 문장들의 관련성과 기억 가능성에 대해 LLM이 평가함으로써, 인간의 평가와 매우 유사하게 반영되었고, 이후 기억 회상 성과를 성공적으로 예측하였다. 이는 LLM이 인간의 인지 과정을 모델링할 수 있음을 시사하며, 기계 심리학이라는 새로운 분야의 길을 열고 있다.

ABSTRACT

Large language models (LLMs), such as ChatGPT, have shown remarkable abilities in natural language processing, opening new avenues in psychological research. This study explores whether LLMs can predict human memory performance in tasks involving garden-path sentences and contextual information. In the first part, we used ChatGPT to rate the relatedness and memorability of garden-path sentences preceded by either fitting or unfitting contexts. In the second part, human participants read the same sentences, rated their relatedness, and completed a surprise memory test. The results demonstrated that ChatGPT's relatedness ratings closely matched those of the human participants, and its memorability ratings effectively predicted human memory performance. Both LLM and human data revealed that higher relatedness in the unfitting context condition was associated with better memory performance, aligning with probabilistic frameworks of context-dependent learning. These findings suggest that LLMs, despite lacking human-like memory mechanisms, can model aspects of human cognition and serve as valuable tools in psychological research. We propose the field of machine psychology to explore this interplay between human cognition and artificial intelligence, offering a bidirectional approach where LLMs can both benefit from and contribute to our understanding of human cognitive processes.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 맥락적으로 복잡한 문장 작업에서 인간의 기억 성과를 예측할 수 있는지 조사하기.
• LLMs의 관련성 및 기억 가능성 평가가 인간의 판단과 일치하는지 검토하기.
• LLM에서 유도된 기억 가능성 점수가 실제 인간의 기억 회상 성과를 예측할 수 있는지 평가하기.
• 인간 인지의 일부를 모델링함으로써 LLM이 심리학 연구 도구로 활용될 잠재력을 탐색하기.
• 인간 인지와 인공지능 간의 双방향 상호작용을 기반으로 한 새로운 융합 분야인 기계 심리학(Machine Psychology)을 제안하기.

제안 방법

• LLMs(특히 ChatGPT)는 적합하거나 부적합한 맥락 문장 뒤에 오는 길드패스 문장의 관련성과 기억 가능성에 대해 평가하도록 유도되었다.
• 인간 참가자들은 동일한 문장을 읽고 관련성을 평가하였으며, 놀라운 기억 테스트를 수행하여 회상 성과를 평가하였다.
• LLMs와 인간의 관련성 및 기억 가능성 평가 간의 유사성을 상관관계 및 회귀 분석을 통해 비교하였다.
• 유효한 비교를 보장하기 위해 일치하는 문장-맥락 쌍을 사용한 내부 설계(within-subjects design)를 적용하였다.
• 통계 모델링을 통해 LLM이 생성한 기억 가능성 점수가 인간의 기억 성과를 예측할 수 있는지 평가하였다.
• 맥락 의존적 학습의 확률적 프레임워크를 활용하여 맥락 관련성과 기억 결과 간의 관계를 해석하였다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(Large Language Models, LLMs)은 맥락 변화가 있는 문장에 대해 인간의 기억 성과를 정확하게 예측할 수 있는가?
• RQ2 LLM이 생성한 관련성 및 기억 가능성 평가가 인간 참가자의 평가와 얼마나 유사한가?
• RQ3 LLM에서 도출된 기억 가능성 점수는 실제 인간의 회상 성과를 어느 정도 예측할 수 있는가?
• RQ4 부적합한 맥락의 관련성이 기억 성과를 향상시키는가? 그리고 LLM은 이러한 효과를 감지할 수 있는가?
• RQ5 LLM은 심리학 실험에서 인간의 인지 과정을 신뢰할 수 있는 대체 도구로 활용될 수 있는가?

주요 결과

• LLM이 평가한 관련성은 인간 참가자들의 평가와 높은 상관관계를 보이며, 인지적 및 인지적 판단에서 강력한 일치를 나타낸다.
• LLM이 생성한 기억 가능성 점수는 놀라운 회상 테스트에서 인간의 기억 성과를 유의미하게 예측하였다.
• 특히 부적합한 맥락 조건에서 관련성이 높을수록 기억 성과가 향상되었으며, 이 패턴은 LLM과 인간 모두에 의해 포착되었다.
• 결과는 맥락의 일관성이 기억 유지에 기여하는 확률적 모델을 지지하며, 맥락 의존적 학습의 이론적 기반을 강화한다.
• 생물학적 기억 메커니즘이 없는 LLM이라도 인간과 유사한 인지 효과를 모델링할 수 있음을 보여준다.
• 결과는 LLM이 심리학 연구에서 인간의 인지 반응을 예측하는 유효하고 확장 가능한 도구로 활용될 수 있음을 시사한다.