[論文レビュー] Towards a Psychology of Machines: Large Language Models Predict Human Memory

Markus Huff, Elanur Ulakçı|arXiv (Cornell University)|Mar 8, 2024

Topic Modeling被引用数 4

ひとこと要約

本研究は、チャットGPTなどの大規模言語モデル（LLMs）が文脈依存的記憶タスクにおける人間の記憶パフォーマンスを正確に予測できることを示している。適合するか不適合な文脈を伴うガーデンパス文の関連性と記憶可能性を評価することで、LLMsは人間の評価と密接に一致し、その後の記憶想起を的確に予測した。これは、LLMsが人間の認知プロセスを模倣できることを示し、マシン心理学という新しい分野の道筋を示している。

ABSTRACT

Large language models (LLMs), such as ChatGPT, have shown remarkable abilities in natural language processing, opening new avenues in psychological research. This study explores whether LLMs can predict human memory performance in tasks involving garden-path sentences and contextual information. In the first part, we used ChatGPT to rate the relatedness and memorability of garden-path sentences preceded by either fitting or unfitting contexts. In the second part, human participants read the same sentences, rated their relatedness, and completed a surprise memory test. The results demonstrated that ChatGPT's relatedness ratings closely matched those of the human participants, and its memorability ratings effectively predicted human memory performance. Both LLM and human data revealed that higher relatedness in the unfitting context condition was associated with better memory performance, aligning with probabilistic frameworks of context-dependent learning. These findings suggest that LLMs, despite lacking human-like memory mechanisms, can model aspects of human cognition and serve as valuable tools in psychological research. We propose the field of machine psychology to explore this interplay between human cognition and artificial intelligence, offering a bidirectional approach where LLMs can both benefit from and contribute to our understanding of human cognitive processes.

研究の動機と目的

• 大規模言語モデル（LLMs）が文脈的に複雑な文のタスクにおける人間の記憶パフォーマンスを予測できるかどうかを調査すること。
• LLMsの関連性および記憶可能性に関する評価が人間の判断と一致するかどうかを検討すること。
• LLMsが導出した記憶可能性スコアが実際に人間の記憶想起パフォーマンスを予測できるかどうかを評価すること。
• 人間の認知の側面を模倣することで、LLMsを心理的研究所におけるツールとしての可能性を検討すること。
• 人間の認知と人工知能の双方向的相互作用に基づき、マシン心理学という新しい学際的分野を提唱すること。

提案手法

• LLMs（特にChatGPT）に、適合するか不適合な文脈文に続くガーデンパス文の関連性と記憶可能性を評価させるようにプロンプトを提示した。
• 人間の被験者が同じ文を読み、関連性を評価し、予期しない記憶テストを実施して想起パフォーマンスを測定した。
• LLMsと人間の両方の関連性および記憶可能性の評価を、相関および回帰分析を用いて比較した。
• 有効な比較が可能となるよう、被験者内設計を採用し、一致する文と文脈のペアを用意した。
• 統計的モデリングにより、LLMsが生成した記憶可能性スコアが人間の記憶パフォーマンスを予測できるかを評価した。
• 文脈依存的学習の確率的フレームワークを用いて、文脈の関連性と記憶結果との関係を解釈した。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、文脈の変化を伴う文の記憶パフォーマンスを正確に予測できるか？
• RQ2 LLMsが生成する関連性および記憶可能性の評価は、被験者の人間の評価とどれほど近いか？
• RQ3 LLMsが導出した記憶可能性スコアは、実際に人間の想起パフォーマンスをどの程度まで予測できるか？
• RQ4 不適合な文脈の関連性が記憶パフォーマンスを向上させるかどうか、そしてLLMsはこの効果を検出できるか？
• RQ5 LLMsは心理的実験における人間の認知プロセスの信頼できる代替指標として機能できるか？

主な発見

• LLMsによる関連性評価は、人間被験者の評価と高い相関を示し、知覚的および認知的判断における強い一致を示した。
• LLMsが生成した記憶可能性スコアは、予期しない想起テストにおける人間の記憶パフォーマンスを有意に予測した。
• 特に不適合な文脈において、文脈の関連性が高くなるほど記憶パフォーマンスが向上し、この傾向はLLMsと人間の両方で捉えられた。
• 結果は、文脈の整合性が記憶保持を強化するため、文脈依存的学習の確率的モデルを支持するものであった。
• LLMsは生物学的記憶メカニズムを欠いているにもかかわらず、人間と同様の認知的効果を模倣できる能力を示した。
• 研究結果は、LLMsが心理的研究所における人間の認知反応を予測する有効でスケーラブルなツールとして機能できることを示唆している。