[论文解读] Brain-inspired Graph Spiking Neural Networks for Commonsense Knowledge Representation and Reasoning

Hongjian Fang, Yi Zeng+4 more|arXiv (Cornell University)|Jul 11, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出一种受大脑启发的图脉冲神经网络（KRR-GSNN），通过群体编码和脉冲时序可塑性（STDP）将常识知识表示为图结构，并实现符号推理。通过引入奖励调制STDP（R-STDP）进行强化学习，该模型在收敛速度上显著优于图卷积网络（GCNs），且准确率相当，同时具备较强的生物学合理性，并通过可追溯的推理路径实现更好的可解释性。

ABSTRACT

How neural networks in the human brain represent commonsense knowledge, and complete related reasoning tasks is an important research topic in neuroscience, cognitive science, psychology, and artificial intelligence. Although the traditional artificial neural network using fixed-length vectors to represent symbols has gained good performance in some specific tasks, it is still a black box that lacks interpretability, far from how humans perceive the world. Inspired by the grandmother-cell hypothesis in neuroscience, this work investigates how population encoding and spiking timing-dependent plasticity (STDP) mechanisms can be integrated into the learning of spiking neural networks, and how a population of neurons can represent a symbol via guiding the completion of sequential firing between different neuron populations. The neuron populations of different communities together constitute the entire commonsense knowledge graph, forming a giant graph spiking neural network. Moreover, we introduced the Reward-modulated spiking timing-dependent plasticity (R-STDP) mechanism to simulate the biological reinforcement learning process and completed the related reasoning tasks accordingly, achieving comparable accuracy and faster convergence speed than the graph convolutional artificial neural networks. For the fields of neuroscience and cognitive science, the work in this paper provided the foundation of computational modeling for further exploration of the way the human brain represents commonsense knowledge. For the field of artificial intelligence, this paper indicated the exploration direction for realizing a more robust and interpretable neural network by constructing a commonsense knowledge representation and reasoning spiking neural networks with solid biological plausibility.

研究动机与目标

• 开发一种生物上合理的神经网络模型，利用神经科学原理（如群体编码和脉冲动力学）表示常识知识。
• 通过神经元群体的协调放电模式编码概念，实现在脉冲神经网络中的符号推理。
• 通过可追溯的脉冲活动路径，使推理过程可追踪，从而提升可解释性，减少深度学习的黑箱特性。
• 探索抑制性神经元比例在优化推理性能中的作用，受人类海马CA1区域14–15%抑制性中间神经元的启发。
• 以类人方式建模归纳推理，尤其与婴儿认知发展密切相关。

提出的方法

• 采用群体编码，即一组神经元集体表示一个符号或概念，基于祖母细胞假说。
• 采用脉冲时序可塑性（STDP）根据突触前与突触后脉冲的时间关系学习突触权重，实现关系的时序编码。
• 引入奖励调制STDP（R-STDP）以模拟强化学习，引导网络向正确推理结果收敛。
• 将常识知识编码为图结构，其中神经元群体代表概念，突触代表关系。
• 使用相似性函数监控网络状态并提取可解释的推理路径，增强模型透明度。
• 在传递性推理任务上通过自监督强化学习进行训练，并对抑制性神经元比例进行超参数调优。

实验结果

研究问题

• RQ1 基于群体编码和STDP机制的脉冲神经网络能否有效表示和推理常识知识图谱？
• RQ2 神经元群体中抑制性神经元的比例如何影响脉冲网络在推理任务中的准确率和收敛速度？
• RQ3 在图结构化的脉冲网络中，R-STDP能否在符号推理任务中实现比传统GCNs更快的收敛速度和相当的准确率？
• RQ4 该模型是否具备归纳推理能力，例如从已有知识图谱中自主生成新知识？
• RQ5 该模型的架构与动力学在多大程度上反映了人类大脑的已知生物学原理，如海马体CA1区域14–15%的抑制性神经元比例？

主要发现

• KRR-GSNN在传递性推理任务中达到与图卷积网络（GCNs）相当的最终准确率，但收敛速度显著更快。
• 当神经元群体中抑制性神经元比例设定为约15%时，在相同训练迭代次数下，模型达到最高的推理准确率。
• 15%的抑制性神经元比例与人类海马CA1区域观察到的14–15%高度吻合，表明模型超参数选择具有生物学合理性。
• 该模型通过从编码的知识图谱中自主生成正确的新知识，展现出归纳推理能力，暗示其在建模类人学习过程方面的潜力。
• 通过引入相似性函数，实现了可追溯的推理路径，使模型内部逻辑更具可解释性，更符合人工智能伦理与安全标准。
• 将符号推理与STDP和R-STDP等生物启发机制相结合，为建模人类水平的常识推理提供了一个计算上合理的框架。