[论文解读] Aspects of human memory and Large Language Models
本文研究了大型语言模型（LLMs）中的类记忆行为，发现尽管缺乏专用的记忆架构，这些模型仍表现出类似人类的记忆现象，如首因效应和近因效应。这些特性源于训练数据中的统计模式，表明人类叙事结构通过我们的写作方式在语言模型中留下印记，而非仅由架构设计所致。
Large Language Models (LLMs) are huge artificial neural networks which primarily serve to generate text, but also provide a very sophisticated probabilistic model of language use. Since generating a semantically consistent text requires a form of effective memory, we investigate the memory properties of LLMs and find surprising similarities with key characteristics of human memory. We argue that the human-like memory properties of the Large Language Model do not follow automatically from the LLM architecture but are rather learned from the statistics of the training textual data. These results strongly suggest that the biological features of human memory leave an imprint on the way that we structure our textual narratives.
研究动机与目标
- 调查大型语言模型（LLMs）是否表现出与人类短期记忆相似的类记忆行为。
- 确定这些记忆特性是源于架构设计，还是源于训练数据中的统计规律。
- 探讨人类生物记忆塑造文本叙事结构的假设，并检验其是否在语言模型中留下可检测的印记。
- 将 LLM 的记忆表现与人类记忆实验进行比较，重点关注序列回忆和干扰效应。
- 评估 LLM 中涌现的记忆特性是否源于 Transformer 架构的归纳偏置，还是从语言统计中学习而来。
提出的方法
- 使用包含 20 个 'has-a' 类型事实的列表，对 GPT-J（一个 6B 参数的 LLM）进行序列记忆实验，以测试其回忆准确性。
- 测量不同列表位置上的回忆表现，以检测首因效应（早期项目）和近因效应（晚期项目）。
- 通过引入关于同一实体的冲突事实，分析语义干扰的影响，评估回忆准确性的下降程度。
- 利用 Transformer 架构中的位置嵌入，检验仅靠架构特征是否足以解释记忆效应。
- 将 GPT-J 的结果与较小模型（如 Pythia-70m）进行比较，以分离模型规模和训练方案的作用。
- 通过改变查询与目标事实之间的距离，评估记忆形成时间，观察回忆准确性的趋势。
实验结果
研究问题
- RQ1大型语言模型是否在序列回忆任务中表现出类似人类记忆的首因效应和近因效应？
- RQ2LLMs 中观察到的类记忆行为是源于架构的归纳偏置（如位置嵌入），还是源于训练数据中的学习？
- RQ3语义干扰如何影响 LLM 的回忆准确性？这种影响是否与人类因干扰导致的遗忘相一致？
- RQ4记忆效应的出现是否依赖于模型规模和训练方案，从而表明其更可能是学习所得而非架构特性？
- RQ5人类写作的叙事统计结构在多大程度上塑造了 LLM 中的概率语言模型？
主要发现
- GPT-J 在列表位置上表现出 U 型回忆曲线，同时体现首因效应和近因效应，与人类记忆模式一致。
- 较小的 Pythia-70m 模型中缺乏近因效应，表明该现象仅在更大、更复杂的模型中出现。
- 回忆准确性随与目标事实距离的增加而先上升，这与基于位置嵌入的架构偏见假设相矛盾。
- 当存在多个关于同一实体的事实时，语义干扰显著降低回忆准确性，支持干扰在遗忘中的作用。
- LLMs 中的类记忆行为并非由 Transformer 架构直接引发，而是从训练数据中的统计规律中学习而来。
- 结果表明，人类生物记忆在叙事结构中留下了可检测的统计印记，该印记随后在 LLM 训练过程中被内化。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。