[论文解读] Spiking Hyperdimensional Network: Neuromorphic Models Integrated with Memory-Inspired Framework

Zhuowen Zou, Haleh Alimohamadi+3 more|arXiv (Cornell University)|Oct 1, 2021

Ferroelectric and Negative Capacitance Devices参考文献 65被引用 12

一句话总结

SpikeHD 是首个从根本上将脉冲神经网络（SNNs）与超维计算（HDC）融合的框架，利用 SNN 对事件数据进行低层次的时空特征提取，利用 HDC 实现高层次的抽象表征与分类。这种两级处理方式提升了学习能力、抗噪性与模型效率，在保持基准任务高准确率的同时，减少了网络规模与参数量。

ABSTRACT

Recently, brain-inspired computing models have shown great potential to outperform today's deep learning solutions in terms of robustness and energy efficiency. Particularly, Spiking Neural Networks (SNNs) and HyperDimensional Computing (HDC) have shown promising results in enabling efficient and robust cognitive learning. Despite the success, these two brain-inspired models have different strengths. While SNN mimics the physical properties of the human brain, HDC models the brain on a more abstract and functional level. Their design philosophies demonstrate complementary patterns that motivate their combination. With the help of the classical psychological model on memory, we propose SpikeHD, the first framework that fundamentally combines Spiking neural network and hyperdimensional computing. SpikeHD generates a scalable and strong cognitive learning system that better mimics brain functionality. SpikeHD exploits spiking neural networks to extract low-level features by preserving the spatial and temporal correlation of raw event-based spike data. Then, it utilizes HDC to operate over SNN output by mapping the signal into high-dimensional space, learning the abstract information, and classifying the data. Our extensive evaluation on a set of benchmark classification problems shows that SpikeHD provides the following benefit compared to SNN architecture: (1) significantly enhance learning capability by exploiting two-stage information processing, (2) enables substantial robustness to noise and failure, and (3) reduces the network size and required parameters to learn complex information.

研究动机与目标

• 解决 SNN 在实时嵌入式应用中鲁棒性、可扩展性与认知功能方面的局限性。
• 通过将 HDC 与 SNN 集成，克服 HDC 无法有效处理神经形态数据的问题，实现端到端学习。
• 构建一种可扩展、低功耗的类脑认知学习系统，通过分层处理模拟大脑功能。
• 利用 HDC 的记忆启发式架构，实现在线、单遍学习，具备实时自适应能力。
• 通过混合 SNN-HDC 训练提升模型可解释性，并减少参数需求。

提出的方法

• SpikeHD 使用浅层 SNN 从原始事件驱动的脉冲数据中提取时空特征，保留时间与空间相关性。
• 通过非线性神经编码器将 SNN 输出映射为高维超向量，实现基于 HDC 的表征学习。
• 采用端到端的协同训练机制，同步 SNN 与 HDC 的训练，优化 SNN 输出以提升 HDC 分类性能。
• 通过保持 SNN 固定并利用单遍训练更新 HDC 模块，支持在线学习。
• 采用基于 Moore-Penrose 伪逆的损失反向传播机制，将误差从 HDC 传递至 SNN，但可能因维度不匹配导致信息损失。
• 模型以 Atkinson–Shiffrin 记忆模型为概念基础，通过 HDC 模拟长期记忆，通过 SNN 实现感官处理。

实验结果

研究问题

• RQ1 将 SNN 与 HDC 结合，是否能构建出比单一模型更鲁棒、更高效的认知学习系统？
• RQ2 两级处理（SNN 用于特征提取，HDC 用于抽象）在事件数据上的学习性能提升程度如何？
• RQ3 SpikeHD 在保持或提升准确率的前提下，能在多大程度上减小模型规模与参数数量？
• RQ4 该框架是否能以极低计算开销支持实时在线学习？
• RQ5 SNN 与 HDC 的集成在多大程度上增强了对噪声与数据故障的鲁棒性？

主要发现

• SpikeHD 通过利用两级信息处理显著提升了学习能力，优于独立的 SNN 与 HDC 模型。
• 该框架显著减小了网络规模与学习复杂信息所需的参数量，尤其在小型 SNN 或更复杂任务中优势更明显。
• 由于 HDC 本身具备的鲁棒性以及 SpikeHD 中的分层抽象，对噪声与故障的鲁棒性得到显著提升。
• 测试准确率在 HDC 维度较高或 SNN 较大时仅略有提升，表明在更大配置下收益递减。
• 从 HDC 到 SNN 的误差反向传播受限于维度降低，提示未来可改进正则化或端到端训练策略。
• 通过保持 SNN 静态并利用单遍训练更新 HDC，该框架实现了实时在线学习，适用于流式神经形态数据。