[论文解读] Learning with Memory Embeddings

Volker Tresp, Cristóbal Esteban+3 more|arXiv (Cornell University)|Nov 25, 2015

Advanced Graph Neural Networks参考文献 108被引用 14

一句话总结

本文提出了一种基于张量的记忆嵌入框架，将技术性表征学习模型映射到人类认知记忆功能——语义记忆、情景记忆、感官记忆和工作记忆——通过共享的潜在表征实现。该研究提出“张量记忆假说”，证明实体的潜在向量可实现跨记忆类型的统一学习、预测与推理，临床建模与推荐系统应用提供了实证支持。

ABSTRACT

Embedding learning, a.k.a. representation learning, has been shown to be able to model large-scale semantic knowledge graphs. A key concept is a mapping of the knowledge graph to a tensor representation whose entries are predicted by models using latent representations of generalized entities. Latent variable models are well suited to deal with the high dimensionality and sparsity of typical knowledge graphs. In recent publications the embedding models were extended to also consider time evolutions, time patterns and subsymbolic representations. In this paper we map embedding models, which were developed purely as solutions to technical problems for modelling temporal knowledge graphs, to various cognitive memory functions, in particular to semantic and concept memory, episodic memory, sensory memory, short-term memory, and working memory. We discuss learning, query answering, the path from sensory input to semantic decoding, and the relationship between episodic memory and semantic memory. We introduce a number of hypotheses on human memory that can be derived from the developed mathematical models.

研究动机与目标

• 将技术性表征学习模型与人类认知记忆系统（特别是语义记忆、情景记忆和工作记忆）相连接。
• 探究知识图谱嵌入中的潜在向量表示是否能够建模不同人类记忆类型之间的功能与结构关系。
• 构建一个数学框架，利用张量分解支持在感官记忆、情景记忆与语义记忆之间进行学习、推理与预测。
• 检验假设：语义记忆源于情景经验的长期聚合，而情景记忆则依赖于语义上下文。
• 探索跨记忆功能的共享潜在表征如何在工作记忆中实现预测、决策支持与心理模拟。

提出的方法

• 将记忆功能建模为张量：感官记忆（U）、情景记忆（Z）与语义知识图（X），各自具有不同的维度，但共享潜在表征。
• 应用耦合张量分解，学习跨记忆类型的广义实体（主体、谓词、客体）的共享潜在表征。
• 使用指示映射函数（由潜在向量参数化）通过概率推理预测张量条目（例如三元组的真值）。
• 采用模拟退火采样生成可能的三元组，实现记忆回溯与未来或过去事件的心理意象。
• 提出“张量记忆假说”：仅需存储实体的潜在表示，无需显式存储知识图，从而实现高效推理与泛化。
• 将模型参数（如神经网络权重）与隐性技能记忆关联，感知学习对应于感官到潜在表征映射的优化。

实验结果

研究问题

• RQ1 能否将时间知识图谱的技术嵌入模型有意义地映射到人类认知记忆功能（如情景记忆与语义记忆）？
• RQ2 跨记忆类型的共享潜在表征在工作记忆中如何支持统一的学习、预测与决策？
• RQ3 语义记忆在多大程度上依赖于情景记忆，反之亦然？该关系能否通过张量嵌入实现数学建模？
• RQ4 该模型能否通过潜在表征操作实现心理意象与未来事件预测的模拟？
• RQ5 时间t的潜在表征在形成情景记忆中起什么作用？它如何将感官输入整合到高级认知中？

主要发现

• 语义记忆被建模为一个静态的主体-谓词-客体三元组知识图，而情景记忆则表示为时间索引的三元组，支持时间推理。
• 张量记忆假说成立：仅需存储实体的潜在表示，即可重构完整知识图，并支持归纳推理。
• 时间t的潜在表示汇总了所有感官输入，构成情景记忆形成的基础，将感知与记忆相连接。
• 语义记忆与情景记忆相互依存：情景解码依赖于语义上下文，而语义记忆则作为情景经验的长期存储而发展。
• 该模型通过潜在表征的概率采样，支持过去记忆的回溯与未来事件的心理模拟。
• 在临床决策建模、传感器网络与推荐系统中的实证验证证实了该框架的有效性，成功预测了诊疗程序、检验结果与用户偏好。