[论文解读] Learning temporal relationships between symbols with Laplace Neural Manifolds

Marc W. Howard, Zahra G. Esfahani+2 more|arXiv (Cornell University)|Feb 20, 2023

Neural dynamics and brain functionNeuroscience被引用 3

一句话总结

本文提出了一种神经生物学上合理的框架，用于通过拉普拉斯神经流形学习事件之间的时序关系，其中大脑的时间记忆被建模为过去事件的实拉普拉斯变换。通过利用多样的突触时间常数，该模型实现了对未来事件的连续时间预测，并引入了一种拉普拉斯时序差分方法以实现时序信用分配，为一类新型整合显式时序记忆的强化学习奠定了基础。

ABSTRACT

Firing across populations of neurons in many regions of the mammalian brain maintains a temporal memory, a neural timeline of the recent past. Behavioral results demonstrate that people can both remember the past and anticipate the future over an analogous internal timeline. This paper presents a mathematical framework for building this timeline of the future. We assume that the input to the system is a time series of symbols--sparse tokenized representations of the present--in continuous time. The goal is to record pairwise temporal relationships between symbols over a wide range of time scales. We assume that the brain has access to a temporal memory in the form of the real Laplace transform. Hebbian associations with a diversity of synaptic time scales are formed between the past timeline and the present symbol. The associative memory stores the convolution between the past and the present. Knowing the temporal relationship between the past and the present allows one to infer relationships between the present and the future. With appropriate normalization, this Hebbian associative matrix can store a Laplace successor representation and a Laplace predecessor representation from which measures of temporal contingency can be evaluated. The diversity of synaptic time constants allows for learning of non-stationary statistics as well as joint statistics between triplets of symbols. This framework synthesizes a number of recent neuroscientific findings including results from dopamine neurons in the mesolimbic forebrain.

研究动机与目标

• 开发一个数学框架，解释大脑如何在连续时间中学习并表征事件之间的时序关系。
• 通过将过去和预测的未来状态建模为实拉普拉斯变换，将时序记忆整合到强化学习中。
• 通过拉普拉斯时序差分实现时序信用分配，以克服传统强化学习的局限性。
• 为学习时序因果关系提供一种神经生理学上合理的机制，尤其基于大脑中存在神经时间线的证据。
• 通过拉普拉斯域参数的对数采样实现时序处理的尺度协变性，支持在不同时间尺度下的鲁棒性。

提出的方法

• 该模型将时序记忆表示为过去刺激的实拉普拉斯变换，其中神经种群通过速率常数 $ s $ 编码放电率。
• 通过具有多样化时间常数的赫布突触可塑性，建立过去与当前事件之间的关联，从而实现时序关系的学习。
• 通过在拉普拉斯域表示中将时序记忆从当前时刻延伸至未来，生成未来预测。
• 通过拉普拉斯时序差分计算时序信用分配，比较预测与实际的未来结果。
• 该框架对 $ s $ 使用对数尺度，确保尺度协变性，并支持在不同时间尺度下的鲁棒性。
• 该模型利用拉普拉斯变换的性质，如平移不变性和卷积运算，以高效计算时序变换。

Figure 1: Guide to notation. A. Sign conventions. At the present moment $t$ , objective time $\tau$ runs from $-\infty$ to $\infty$ . $\tau=0$ corresponds to time $t$ . The real Laplace domain variable $s$ runs from $0^{+}$ to $+\infty$ for both past and future, approximated as $s_{\textnormal{min}}

实验结果

研究问题

• RQ1 大脑如何在连续时间中表征并学习事件之间的时序关系？
• RQ2 何种神经机制能够在统一框架中同时实现对过去的记忆和对未来的预测？
• RQ3 如何计算时序信用分配，以反映大脑的连续时间处理特性？
• RQ4 为何需要对时间常数采用对数尺度，以实现跨多个时间尺度的鲁棒时序处理？
• RQ5 拉普拉斯变换能否作为一类新型强化学习的生物学合理基础，该类方法显式整合时序记忆？

主要发现

• 该模型成功使用相同的实拉普拉斯变换表示方法同时表征过去记忆和未来预测，实现了统一的时序框架。
• 通过使用多样的突触时间常数，系统能够编码远超单一时间常数的长期试用历史中的时序关系。
• 拉普拉斯时序差分提供了一种生物学上合理的时序信用分配机制，通过比较预测与实际的未来结果实现。
• 该框架具有尺度协变性：时间缩放仅导致 $ s $-轴上的简单平移，保持模型结构不变，并支持在不同时间尺度下的鲁棒性。
• 拉普拉斯域中的神经表征支持高效且与数据无关的操作，如平移和卷积，从而实现快速且可泛化的计算。
• 该模型的对数时间尺度与神经时间常数的实证观察一致，并支持在不同时间事件速度下的泛化能力，如在听觉和视觉任务中所展示的。

Figure 2: Neural manifolds to construct a log compressed timeline of the past and the future. Top: A temporal relationship exists between x and y such that y always follows x after a delay of $\tau_{o}$ seconds. Consider how the internal timeline ought to behave after x is presented at $t=0$ . At ti