[论文解读] Brain-inspired learning in artificial neural networks: a review

Samuel Schmidgall, Jascha Achterberg+5 more|arXiv (Cornell University)|May 18, 2023

Advanced Memory and Neural Computing被引用 5

一句话总结

本文综述了人工神经网络（ANNs）中受大脑启发的学习机制，重点探讨了生物上合理的突触可塑性、神经调制以及局部学习规则，以克服持续学习与终身学习中的局限性。通过整合这些源自神经科学的原理，人工神经网络可实现更具适应性、能效更高且更稳定的持续学习，从而模拟大脑动态、终身学习的能力。

ABSTRACT

Artificial neural networks (ANNs) have emerged as an essential tool in machine learning, achieving remarkable success across diverse domains, including image and speech generation, game playing, and robotics. However, there exist fundamental differences between ANNs' operating mechanisms and those of the biological brain, particularly concerning learning processes. This paper presents a comprehensive review of current brain-inspired learning representations in artificial neural networks. We investigate the integration of more biologically plausible mechanisms, such as synaptic plasticity, to enhance these networks' capabilities. Moreover, we delve into the potential advantages and challenges accompanying this approach. Ultimately, we pinpoint promising avenues for future research in this rapidly advancing field, which could bring us closer to understanding the essence of intelligence.

研究动机与目标

• 识别并分析可生物实现的学习机制（如突触可塑性与神经调制），以整合进人工神经网络（ANNs），提升学习的适应性。
• 解决当前ANN在实现稳定、持续且终身学习方面所面临的根本性局限，类似生物大脑的学习能力。
• 通过提出受大脑启发的算法，弥合神经科学与人工智能之间的鸿沟，以增强AI系统的能力，并深化对大脑计算机制的理解。
• 探讨局部学习规则（如模拟突触时序依赖可塑性（STDP）的规则）在多层网络训练中替代或补充反向传播的可行性，以实现更符合生物学原理的学习。
• 识别开发能效更高、适应性更强的AI系统所面临的开放性研究挑战与未来方向，这些系统受大脑动态学习机制的启发。

提出的方法

• 系统性回顾突触可塑性机制，包括长时程增强（LTP）与长时程抑制（LTD），这些机制是生物神经回路中学习的基础。
• 研究通过神经递质（如多巴胺、乙酰胆碱）实现的神经调制，作为调节突触强度与神经元兴奋性的机制，实现情境依赖性学习。
• 分析突触时序依赖可塑性（STDP）作为依赖突触前与突触后动作电位时间关系的局部赫布型学习规则，用于修改突触权重。
• 对比反向传播与生物上合理的替代方法（如反馈对齐与局部学习规则），评估其在人工网络中的可行性。
• 将局部学习规则整合进深度学习架构中，实现在无全局误差信号的情况下实现信用分配，以模拟类脑学习动力学。
• 利用人工神经网络作为计算模型，测试并完善关于大脑功能的理论，形成神经连接主义研究范式。

Figure 1: Graphical depiction of long-term potentiation (LTP) and depression (LTD) at the synapse biological neurons. A. Synaptically connected pre- and post-synaptic neurons. B. Synaptic terminal, the connection point between neurons. C. Synaptic growth (LTP) and synaptic weakening (LTD). D. Top. M

实验结果

研究问题

• RQ1 如何在人工神经网络中有效建模与实现LTP与LTD等突触可塑性机制，以实现生物上合理的学习？
• RQ2 神经调制在塑造学习动力学方面发挥什么作用？如何在人工网络中模拟其机制以支持情境敏感的适应？
• RQ3 在保持性能与生物合理性的同时，局部学习规则（如STDP）在多层网络训练中能在多大程度上替代反向传播？
• RQ4 如何设计人工神经网络以支持持续且终身学习，类似大脑的终身适应能力？
• RQ5 将神经科学洞见整合进AI开发，以及利用AI模型推进对大脑计算的理解，二者之间存在哪些相互益处？

主要发现

• 突触可塑性，特别是LTP与LTD，为生物系统中的学习与记忆提供了基础机制，可在ANN中建模以提升适应性。
• 神经调制能够动态调节神经回路与突触强度，为在人工网络中实现情境依赖性学习提供了可行路径。
• 突触时序依赖可塑性（STDP）是一种生物上合理的局部学习规则，可基于突触前与突触后活动的时间关系指导权重更新。
• 尽管反向传播在深度学习中极为有效，但其不具备生物合理性；反馈对齐等局部学习规则为受大脑启发的训练提供了有前景的替代方案。
• 将受大脑启发的学习机制整合进ANN可带来更节能、更稳定且更具适应性的系统，尤其在持续学习与终身学习场景中表现更优。
• 神经科学与AI之间的协同作用是相互受益的：受大脑启发的AI模型可用于测试与完善大脑功能理论，而神经科学亦可指导开发更稳健、泛化能力更强的AI算法。

Figure 2: There are strong parallels between artificial and brain-like learning algorithms. Left. Top. Graphical depiction of a rodent and a cluster of interconnected neurons. Middle. Rodent is participating in the Morris water maze task to test its learning capabilities. Bottom A graphical depictio