[论文解读] Brain-Inspired Self-Organization with Cellular Neuromorphic Computing for Multimodal Unsupervised Learning

Lyes Khacef, Laurent Rodriguez+1 more|arXiv (Cornell University)|Apr 11, 2020

Advanced Memory and Neural Computing参考文献 106被引用 19

一句话总结

本文提出了一种受大脑启发的类脑脉冲神经网络架构——再入自组织映射（Reentrant Self-Organizing Map, ReSOM），通过赫布型学习与再入机制实现自组织的多模态无监督学习。该方法在手写/语音数字与DVS/EMG手势数据集上分别实现了+8.03%和+5.67%的准确率提升，通过利用收敛与发散机制实现跨模态推理，并通过突触修剪诱导硬件可塑性。

ABSTRACT

Cortical plasticity is one of the main features that enable our ability to learn and adapt in our environment. Indeed, the cerebral cortex self-organizes itself through structural and synaptic plasticity mechanisms that are very likely at the basis of an extremely interesting characteristic of the human brain development: the multimodal association. In spite of the diversity of the sensory modalities, like sight, sound and touch, the brain arrives at the same concepts (convergence). Moreover, biological observations show that one modality can activate the internal representation of another modality when both are correlated (divergence). In this work, we propose the Reentrant Self-Organizing Map (ReSOM), a brain-inspired neural system based on the reentry theory using Self-Organizing Maps and Hebbian-like learning. We propose and compare different computational methods for unsupervised learning and inference, then quantify the gain of the ReSOM in a multimodal classification task. The divergence mechanism is used to label one modality based on the other, while the convergence mechanism is used to improve the overall accuracy of the system. We perform our experiments on a constructed written/spoken digits database and a DVS/EMG hand gestures database. The proposed model is implemented on a cellular neuromorphic architecture that enables distributed computing with local connectivity. We show the gain of the so-called hardware plasticity induced by the ReSOM, where the system's topology is not fixed by the user but learned along the system's experience through self-organization.

研究动机与目标

• 开发一种受大脑启发的计算模型，通过自组织实现无监督多模态学习。
• 实现一种神经形态系统，能够根据经验动态重构其连接结构，模拟皮层可塑性。
• 量化在自组织架构中利用收敛与发散机制进行多模态融合所带来的性能增益。
• 通过在细胞级神经形态FPGA实现中采用突触修剪实现通信减少，展示硬件效率。

提出的方法

• ReSOM模型采用基于Kohonen的自组织映射（SOMs）从视觉和听觉等不同感官输入中学习单模态表征。
• 应用赫布型学习强化表示相关模态的神经元之间的连接，通过突触生长与修剪实现结构可塑性。
• 系统利用再入范式在单模态映射之间实现双向信号交换，支持收敛（共享概念形成）与发散（跨模态激活）。
• 采用乘法更新机制对各映射中的活动水平进行归一化，实现全局最佳匹配单元（BMU）选择的一致性，且无需引入第二个超参数。
• 该架构部署于迭代网格（Iterative Grid, IG）细胞级神经形态框架中，实现在FPGA上的分布式、基于局部连接的计算。
• 系统各映射间的连接关系并非预先定义，而是通过经验学习获得，从而形成一种降低通信开销的硬件可塑性。

实验结果

研究问题

• RQ1 神经形态系统如何通过模拟皮层可塑性实现无监督多模态学习？
• RQ2 发散机制在利用另一模态信息提升某一模态分类准确率方面能达到何种程度？
• RQ3 收敛机制是否能够使整体分类准确率超越最佳单模态性能？
• RQ4 自组织突触修剪如何降低通信成本并提升硬件效率？
• RQ5 硬件可塑性对神经形态系统在能效与系统可扩展性方面有何影响？

主要发现

• 在手写/语音数字数据集上，ReSOM相较于单模态基线模型实现了+8.03%的准确率增益。
• 在DVS/EMG手势数据集上，ReSOM通过多模态融合实现了+5.67%的准确率增益。
• 基于发散的标签预测实现了与使用真实标签相当的单模态分类准确率，证明了有效的跨模态推理能力。
• 通过修剪，系统将侧向突触连接减少了约80%，显著降低了通信开销。
• ReSOM的自组织跨映射连接形成了一种硬件可塑性，通过最小化不必要的神经元间通信，提升了能效。
• 乘法更新方法实现了全局BMU选择的一致性，且无需引入第二个超参数，简化了调参过程。