[论文解读] Cortical microcircuits as gated-recurrent neural networks

Rui Ponte Costa, Yannis Assael+3 more|arXiv (Cornell University)|Nov 7, 2017

Advanced Memory and Neural Computing参考文献 57被引用 31

一句话总结

该论文提出 subLSTM，一种生物上合理的循环神经网络，其中门控通过减法抑制而非乘法门控实现，与皮层微电路结构相匹配。结果表明，subLSTM 在语言建模和序列图像分类任务上的性能与标准 LSTM 相当，表明皮层电路可能通过抑制性调控实现类似门控-循环网络的功能。

ABSTRACT

Cortical circuits exhibit intricate recurrent architectures that are remarkably similar across different brain areas. Such stereotyped structure suggests the existence of common computational principles. However, such principles have remained largely elusive. Inspired by gated-memory networks, namely long short-term memory networks (LSTMs), we introduce a recurrent neural network in which information is gated through inhibitory cells that are subtractive (subLSTM). We propose a natural mapping of subLSTMs onto known canonical excitatory-inhibitory cortical microcircuits. Our empirical evaluation across sequential image classification and language modelling tasks shows that subLSTM units can achieve similar performance to LSTM units. These results suggest that cortical circuits can be optimised to solve complex contextual problems and proposes a novel view on their computational function. Overall our work provides a step towards unifying recurrent networks as used in machine learning with their biological counterparts.

研究动机与目标

• 通过提出一种 LSTM 的生物上合理替代方案，弥合人工循环神经网络与生物皮层微电路之间的差距。
• 探究皮层电路中常见的减法抑制是否能够实现有效的序列处理门控。
• 评估这种生物约束架构 subLSTM 是否能在基准任务上达到标准 LSTM 的性能。
• 提供一个可测试的计算框架，将已知的皮层微电路结构与复杂情境计算联系起来。

提出的方法

• 提出 subLSTM，一种门控-循环网络，其中抑制通过从兴奋性输入中减去来实现，以模拟皮层微电路中兴奋与抑制的平衡。
• 将 LSTM 架构映射到典型的兴奋-抑制（EI）皮层微电路，用侧向抑制控制替代乘法门控。
• 采用生物上真实的门控机制，其中抑制性中间神经元通过减法调节兴奋性输入流，维持网络稳定性。
• 使用时间反向传播训练 subLSTM 模型，超参数经调整以确保与标准 LSTM 的公平比较。
• 采用权重共享和 dropout 正则化以提高泛化能力，模型大小调整为使 subLSTM、LSTM 和 fix-subLSTM 变体的参数量一致。
• 在序列图像分类（像素级 MNIST）和语言建模（Penn Treebank、Wikitext-2）任务上进行实证评估，使用困惑度和准确率等标准指标。

实验结果

研究问题

• RQ1 能否在具有减法抑制的循环神经网络（模拟皮层微电路动力学）中实现与标准 LSTM 相当的性能？
• RQ2 LSTM 的组件与已知的皮层微电路架构之间是否存在直接且生物上合理的映射？
• RQ3 与乘法门控相比，使用减法抑制是否仍能保持序列处理中的长期上下文信息？
• RQ4 subLSTM 模型是否能在遵守生物约束（如兴奋-抑制平衡）的前提下，复现 LSTM 的上下文记忆能力？
• RQ5 该映射对理解皮层微电路在感觉处理和工作记忆中的计算功能有何启示？

主要发现

• subLSTM 在序列图像分类和语言建模任务上的表现与标准 LSTM 相当，所有基准测试中的困惑度和准确率均相近。
• 在 Penn Treebank 数据集上，subLSTM 在 100 个隐藏单元下达到约 70.5 的测试困惑度，与 LSTM 在相同超参数设置下的性能一致。
• 在 Wikitext-2 数据集上，subLSTM 在 100 个隐藏单元下达到约 62.3 的测试困惑度，与 LSTM 基线非常接近。
• fix-subLSTM 变体通过在 subLSTM 层之间共享参数，在减少参数量的同时保持了性能，表明在生物约束网络中高效权重共享是可行的。
• 结果表明，减法抑制能够有效实现循环网络中的门控，支持皮层微电路可能执行类似计算的假设。
• 该研究为利用深度学习基准测试生物关于皮层电路中抑制性调控的假设提供了框架。