[论文解读] Flexible Transmitter Network

Shao-Qun Zhang, Zhihua Zhou|arXiv (Cornell University)|Apr 8, 2020

Advanced Memory and Neural Computing参考文献 24被引用 4

一句话总结

本文提出了柔性发射器（FT）模型，这是一种新颖的生物可塑性神经元模型，通过一个双变量函数模拟神经递质释放和神经营养因子调控的突触大小，实现突触可塑性。通过将FT模型表述为复数域的双变量函数，并在全连接前馈网络（FTNet）中实现，作者在多种任务上实现了优越性能，包括时间序列和图像分类，优于CNN-LSTM和SLAYER等最先进模型。

ABSTRACT

Current neural networks are mostly built upon the MP model, which usually formulates the neuron as executing an activation function on the real-valued weighted aggregation of signals received from other neurons. In this paper, we propose the Flexible Transmitter (FT) model, a novel bio-plausible neuron model with flexible synaptic plasticity. The FT model employs a pair of parameters to model the transmitters between neurons and puts up a neuron-exclusive variable to record the regulated neurotrophin density, which leads to the formulation of the FT model as a two-variable two-valued function, taking the commonly-used MP neuron model as its special case. This modeling manner makes the FT model not only biologically more realistic, but also capable of handling complicated data, even time series. To exhibit its power and potential, we present the Flexible Transmitter Network (FTNet), which is built on the most common fully-connected feed-forward architecture taking the FT model as the basic building block. FTNet allows gradient calculation and can be implemented by an improved back-propagation algorithm in the complex-valued domain. Experiments on a board range of tasks show the superiority of the proposed FTNet. This study provides an alternative basic building block in neural networks and exhibits the feasibility of developing artificial neural networks with neuronal plasticity.

研究动机与目标

• 开发一种更具生物可塑性的神经元模型，以超越标准MP模型捕捉突触可塑性。
• 通过神经营养因子密度动态调节突触大小，反映长时程增强和长时程抑制。
• 设计一种基于FT模型的可训练神经网络架构（FTNet），支持复数域的梯度学习。
• 展示FT模型在多样化机器学习任务中的表征能力和泛化能力。
• 探索复数域实现的可行性，以增强神经网络动力学和性能。

提出的方法

• FT模型使用双变量双值函数表示神经元行为，输入包括突触前信号和调节突触强度的神经营养因子密度变量。
• 神经递质释放通过一对参数建模，分别表示兴奋性/抑制性传递，而神经营养因子密度则动态调节突触后受体大小和信号接受度。
• 该模型在复数域中实现，其中实部表示信号传输，虚部表示神经营养因子动力学。
• 开发了一种改进的复数反向传播（CBP）算法，以支持FTNet架构的端到端训练。
• FTNet采用标准的全连接前馈结构，所有层均基于FT神经元模型，并使用CBP算法进行训练。
• 复数域表述使模型能够模拟局部循环动力学，从而有效处理序列和时间数据。

实验结果

研究问题

• RQ1 一种结合神经营养因子调控突触可塑性的神经元模型，是否能在性能上优于标准MP模型或脉冲神经元模型？
• RQ2 在可微分神经网络框架中，如何对突触可塑性，特别是长时程增强和长时程抑制，进行数学形式化？
• RQ3 FT模型的复数域表述是否有效支持基于梯度的学习并捕捉时间依赖性？
• RQ4 所提出的FTNet架构是否在多样化任务上优于现有最先进模型，包括图像和时间序列分类？
• RQ5 FT模型的双变量结构是否能泛化到前馈和类似循环的处理，并与RNN相比如何？

主要发现

• 在MNIST数据集上，FTNet实现了99.12%的准确率，优于CNN-LSTM模型（98.66%）和SLAYER模型。
• 在TIMIT音素识别任务中，FTNet仅用1000次迭代即达到92.87%的准确率，超越了标准RNN和CNN的性能。
• 在所有评估任务中，FT模型的性能均持续优越，包括图像分类、时间序列建模和音素识别。
• 复数域实现支持稳定且高效的反向传播，证明了使用全纯函数训练FT模型的可行性。
• FT模型可泛化MP模型和RNN单元作为特例，证实其具有更广泛的表征能力。
• 将神经营养因子密度作为可学习变量，实现了动态突触可塑性，提升了学习效率和泛化能力。