[论文解读] Mind Scramble: Unveiling Large Language Model Psychology Via Typoglycemia

Miao Yu, Junyuan Mao+8 more|arXiv (Cornell University)|Oct 2, 2024

Artificial Intelligence in EducationComputer Science被引用 3

一句话总结

本文提出了 LLM Psychology，一种新颖的研究框架，通过使用 typoglycemia（即仅保留单词首尾字母、其余字母随机打乱的文本）来探究大型语言模型（LLMs）的认知机制。通过应用这一心理学范式，作者发现 LLMs 展现出类似人类的处理模式，包括依赖上下文的理解与任务特定的鲁棒性，同时揭示了跨模型一致且独特的‘认知指纹’，并通过注意力机制的深入分析解释了这些行为。

ABSTRACT

Research into the external behaviors and internal mechanisms of large language models (LLMs) has shown promise in addressing complex tasks in the physical world. Studies suggest that powerful LLMs, like GPT-4, are beginning to exhibit human-like cognitive abilities, including planning, reasoning, and reflection. In this paper, we introduce a research line and methodology called LLM Psychology, leveraging human psychology experiments to investigate the cognitive behaviors and mechanisms of LLMs. We migrate the Typoglycemia phenomenon from psychology to explore the "mind" of LLMs. Unlike human brains, which rely on context and word patterns to comprehend scrambled text, LLMs use distinct encoding and decoding processes. Through Typoglycemia experiments at the character, word, and sentence levels, we observe: (I) LLMs demonstrate human-like behaviors on a macro scale, such as lower task accuracy and higher token/time consumption; (II) LLMs exhibit varying robustness to scrambled input, making Typoglycemia a benchmark for model evaluation without new datasets; (III) Different task types have varying impacts, with complex logical tasks (e.g., math) being more challenging in scrambled form; (IV) Each LLM has a unique and consistent "cognitive pattern" across tasks, revealing general mechanisms in its psychology process. We provide an in-depth analysis of hidden layers to explain these phenomena, paving the way for future research in LLM Psychology and deeper interpretability.

研究动机与目标

• 探究大型语言模型（LLMs）在文本理解中是否表现出超越表面统计模式的人类认知过程。
• 通过借鉴 typoglycemia 等心理学实验，填补 LLMs 中系统性、内在认知机制分析的空白。
• 开发一种无需数据的民主化基准，用于评估 LLM 在多样化任务中的鲁棒性与认知行为。
• 揭示跨任务中模型特有的、一致的认知模式，表明 LLMs 中存在一种普遍的内在心理机制。
• 通过隐藏层分析实现微观尺度的可解释性，将行为现象与模型内部动态联系起来。

提出的方法

• 将人类心理学中 typoglycemia 现象——即人类能够阅读首尾字母保留但内部字母被打乱的单词——迁移至 LLMs，作为认知探针。
• 设计并应用三种级别的打乱：字符级（如替换内部字母）、词级（打乱单词内部字母顺序）和句级（打乱单词顺序但保留首尾字母）。
• 在原始输入与打乱输入下，对 LLMs 在多样化任务（如 BoolQ、摘要生成、翻译）中的表现进行评估，测量准确率、token 使用量与推理时间。
• 使用受控的 typoglycemia 模式（如 Char-DEL-INT_1、Char-REO-INT）系统性地改变输入扰动，评估模型的鲁棒性。
• 通过消融实验与注意力可视化分析隐藏层，解释行为差异并识别模型特有的认知指纹。
• 在不同任务中对比 LLMs（如 GPT-4、Llama-3.1、Gemma-2-2B、Gemma-2-9B），揭示一致且独特的认知模式。

实验结果

研究问题

• RQ1 LLMs 是否以类似于人类认知机制的方式处理打乱文本，特别是基于上下文的单词重构？
• RQ2 typoglycemia 暴露如何影响 LLM 在不同类型任务中的表现，特别是在数学或推理等复杂逻辑任务中？
• RQ3 LLMs 是否能通过跨多样化任务的稳定、独特认知模式被表征，暗示其具有内在的心理画像？
• RQ4 LLMs 在处理 typoglycemic 输入时，在多大程度上依赖统计模式，而非深层结构理解？
• RQ5 模型隐藏层中的何种内部机制解释了在 typoglycemia 任务中观察到的行为差异？

主要发现

• LLMs 展现出宏观尺度上类似人类的行为：在处理打乱文本时，准确率下降，token 使用量与推理时间增加，尤其在复杂任务中更为明显。
• 不同 LLMs 对 typoglycemia 的鲁棒性各异，其中 GPT-4 和 Llama-3.1 即使在显著打乱下仍保持高准确率，表明其具有模型特异的鲁棒性。
• 复杂逻辑任务（如数学、BoolQ）在打乱格式下对 LLMs 构成显著挑战，表明这些任务更依赖精确的句法与语义结构。
• 尽管具备鲁棒性，部分模型在某些打乱输入下出现反直觉的准确率提升，暗示其行为可能源于数据驱动而非真正理解。
• 每种 LLM 在各类任务中均表现出独特且一致的认知指纹，表明其处理风格背后存在稳定的内在心理机制。
• 隐藏层分析显示，typoglycemia 下注意力模式与特征表示系统性地发生变化，从而解释了行为差异，并实现了对 LLM 认知的更深层次可解释性。