[论文解读] Learning dynamic Boltzmann machines with spike-timing dependent plasticity

Takayuki Osogami, Makoto Otsuka|arXiv (Cornell University)|Sep 29, 2015

Neural dynamics and brain function参考文献 31被引用 11

一句话总结

本文提出一种具有结构化参数的动态玻尔兹曼机（DyBM），通过将学习规则解释为脉冲时间依赖可塑性（STDP），实现了时间序列建模的精确、局部且收敛的学习。DyBM-∞ 模型支持长期记忆，避免了时间反向传播，实现了类似 STDP 的长时程增强与抑制，并具备内置的稳态可塑性。

ABSTRACT

We propose a particularly structured Boltzmann machine, which we refer to as a dynamic Boltzmann machine (DyBM), as a stochastic model of a multi-dimensional time-series. The DyBM can have infinitely many layers of units but allows exact and efficient inference and learning when its parameters have a proposed structure. This proposed structure is motivated by postulates and observations, from biological neural networks, that the synaptic weight is strengthened or weakened, depending on the timing of spikes (i.e., spike-timing dependent plasticity or STDP). We show that the learning rule of updating the parameters of the DyBM in the direction of maximizing the likelihood of given time-series can be interpreted as STDP with long term potentiation and long term depression. The learning rule has a guarantee of convergence and can be performed in a distributed matter (i.e., local in space) with limited memory (i.e., local in time).

研究动机与目标

• 开发一种能够捕捉有限阶马尔可夫模型无法涵盖的长程依赖关系的随机时间序列模型。
• 形式化一种玻尔兹曼机的学习规则，使其包含时间动态特性与脉冲时间依赖可塑性（STDP）。
• 实现分布式、空间局部与时间局部的学习，并保证时间序列数据训练过程的收敛性。
• 在生物神经网络中的 STDP 与马尔可夫随机场中的最大似然学习之间建立理论联系。
• 通过避免时间反向传播与梯度消失问题，克服现有循环模型的局限性。

提出的方法

• 将 DyBM 定义为具有无限多层的玻尔兹曼机，其中每一层编码多维时间序列的一个历史时间步。
• 将单元之间的突触权重结构化为时间延迟上的几何函数之和，以实现解析可处理性与局部学习。
• 推导出在给定历史条件下，下一时刻值的条件分布下，最大化观测时间序列数据似然的学习规则。
• 证明该学习规则简化为 STDP：当突触前神经元放电先于突触后神经元时产生长时程增强，反之则产生长时程抑制。
• 通过先进先出（FIFO）队列实现局部学习，仅存储近期的放电历史，确保低内存占用与时间局部性。
• 通过期望放电率引入一种稳态可塑性机制，稳定学习过程并防止发散。

实验结果

研究问题

• RQ1 能否将玻尔兹曼机扩展为在保证高效学习的同时，对全历史依赖的时间序列数据进行建模？
• RQ2 此类模型的最大似然学习规则是否自然对应于同时包含长时程增强与抑制的 STDP？
• RQ3 该学习规则能否在不使用时间反向传播的情况下，以空间与时间均局部化的方式实现？
• RQ4 为确保 DyBM 中学习的收敛性与局部性，参数的结构约束应满足什么条件？
• RQ5 基于期望放电率的稳态可塑性机制如何影响 DyBM 中学习的稳定性？

主要发现

• DyBM-∞ 模型能够表示任意长度的时间依赖关系，克服了有限阶马尔可夫模型的局限性。
• 由最大似然估计导出的学习规则与 STDP 完全对应，同时包含长时程增强与长时程抑制。
• 当学习率足够小时，学习过程可保证收敛，因为每次更新均提高训练数据的似然度。
• 学习规则在空间与时间上均为完全局部：仅需局部放电信息与有限长度的 FIFO 放电历史队列。
• 首次形式化推导出一种基于期望放电率的新型稳态可塑性机制，并证明其可稳定学习过程。
• DyBM 避免了梯度消失问题，且无需时间反向传播，与标准 RNN 明显不同。