[论文解读] Emergence of functional and structural properties of the head direction system by optimization of recurrent neural networks

Christopher J. Cueva, Peter Y. Wang+2 more|arXiv (Cornell University)|Dec 21, 2019

Neural dynamics and brain function参考文献 59被引用 26

一句话总结

本研究表明，通过训练循环神经网络（RNNs）对角速度进行积分以估计头部方向，可自发涌现出生物上合理的功能与结构特性——具体表现为罗盘神经元（Compass neurons）和转换神经元（Shifter neurons）——以及类似于啮齿动物和果蝇头部方向系统的连接模式与动力学特性。通过随机梯度下降优化的网络自发再现了神经活动与解剖组织结构，且无需预先设定网络架构约束。

ABSTRACT

Recent work suggests goal-driven training of neural networks can be used to model neural activity in the brain. While response properties of neurons in artificial neural networks bear similarities to those in the brain, the network architectures are often constrained to be different. Here we ask if a neural network can recover both neural representations and, if the architecture is unconstrained and optimized, the anatomical properties of neural circuits. We demonstrate this in a system where the connectivity and the functional organization have been characterized, namely, the head direction circuits of the rodent and fruit fly. We trained recurrent neural networks (RNNs) to estimate head direction through integration of angular velocity. We found that the two distinct classes of neurons observed in the head direction system, the Compass neurons and the Shifter neurons, emerged naturally in artificial neural networks as a result of training. Furthermore, connectivity analysis and in-silico neurophysiology revealed structural and mechanistic similarities between artificial networks and the head direction system. Overall, our results show that optimization of RNNs in a goal-driven task can recapitulate the structure and function of biological circuits, suggesting that artificial neural networks can be used to study the brain at the level of both neural activity and anatomical organization.

研究动机与目标

• 探究在无约束条件下，通过目标导向训练的RNN是否能恢复生物神经回路的功能与结构特性。
• 确定在简单角速度积分任务上训练的人工神经网络是否能复现啮齿动物与果蝇头部方向系统中观察到的神经反应特性。
• 探索训练后RNN中的连接模式与动力学是否与真实脑回路（尤其是吸引子动力学与网络组织）相似。
• 评估通过随机梯度下降优化是否能自发产生如罗盘神经元与转换神经元等特化神经元类型，而无需预先设定网络架构偏置。
• 为使用任务优化的人工网络在功能、结构与机制多个层面建模神经回路提供一个框架。

提出的方法

• 训练了一个包含100个神经元的连续时间循环神经网络（RNN），通过随机初始化且无自连接的方式，以实现通过角速度积分来估计头部方向。
• 采用标准RNN动力学方程，结合修正的tanh非线性激活函数、噪声项，以及通过随机梯度下降训练的递归与输入权重矩阵。
• 输入包含初始头部方向（通过正弦与余弦编码）和角速度（逆时针为正，顺时针为负），网络通过两个线性读出神经元输出估计的头部方向。
• 应用扰动分析与固定点分析以探究网络动力学，识别出类似吸引子的行为，表明头部方向的稳定表征。
• 开展连接性分析与计算机内神经生理学分析，将人工网络的结构与功能与生物头部方向系统进行比较。
• 训练过程中避免任何架构约束，使网络组织的自发形成完全由任务优化驱动。

实验结果

研究问题

• RQ1 在无约束条件下，通过目标导向训练的RNN是否能自发涌现出生物头部方向系统中观察到的罗盘神经元与转换神经元等功能神经元类型？
• RQ2 训练后RNN的连接模式与动力学特性是否与啮齿动物与果蝇生物头部方向回路的特性相似？
• RQ3 通过随机梯度下降优化在多大程度上能产生与真实神经回路的解剖与功能组织相匹配的网络架构？
• RQ4 不同的输入统计特性如何影响训练后RNN中的神经表征与网络结构？
• RQ5 在简单积分任务上训练的人工神经网络是否能复现一个已充分表征的生物神经回路的功能活动与结构布局？

主要发现

• 罗盘神经元与转换神经元——生物头部方向系统中的关键功能类神经元——在无架构偏置的训练RNN中自然涌现。
• 连接性分析揭示了人工网络与生物头部方向系统之间的结构相似性，包括与已知电路模体一致的递归连接模式。
• 计算机内神经生理学分析表明，RNN表现出吸引子动力学，支持头部方向在时间上的稳定、连续表征。
• 网络的功能组织（包括对头部方向与角速度的联合调谐）仅在训练后出现，而非在随机初始化的网络中存在。
• 固定点分析为RNN中存在吸引子动力学提供了证据，表明其具备随时间稳定积分角速度的机制。
• 不同的输入统计特性导致了不同的网络架构，表明最优网络结构取决于任务需求，这一特性在手工设计模型中难以预测。