[论文解读] Dimensions of Timescales in Neuromorphic Computing Systems

Herbert Jaeger, Dirk Doorakkers+2 more|arXiv (Cornell University)|Feb 21, 2021

Advanced Memory and Neural Computing参考文献 138被引用 9

一句话总结

本文探讨了神经科学、数学、计算机科学和脉冲神经形态工程学中'时间尺度'的多方面概念，识别出与脉冲神经系统的时序动态相关的40多个子主题。研究提出，多时间尺度动力学——尤其是通过慢-快系统和记忆保持机制——对于有效的回声状态网络计算和神经形态硬件设计至关重要，其关键洞见将指导未来用于STDP和RC应用的硬件开发。

ABSTRACT

This article is a public deliverable of the EU project "Memory technologies with multi-scale time constants for neuromorphic architectures" (MeMScales, https://memscales.eu, Call ICT-06-2019 Unconventional Nanoelectronics, project number 871371). This arXiv version is a verbatim copy of the deliverable report, with administrative information stripped. It collects a wide and varied assortment of phenomena, models, research themes and algorithmic techniques that are connected with timescale phenomena in the fields of computational neuroscience, mathematics, machine learning and computer science, with a bias toward aspects that are relevant for neuromorphic engineering. It turns out that this theme is very rich indeed and spreads out in many directions which defy a unified treatment. We collected several dozens of sub-themes, each of which has been investigated in specialized settings (in the neurosciences, mathematics, computer science and machine learning) and has been documented in its own body of literature. The more we dived into this diversity, the more it became clear that our first effort to compose a survey must remain sketchy and partial. We conclude with a list of insights distilled from this survey which give general guidelines for the design of future neuromorphic systems.

研究动机与目标

• 绘制计算神经科学、数学和神经形态系统中'时间尺度'的多样化概念与技术维度。
• 识别并分析与时间动态相关的关键现象，包括记忆保持、奇异摄动和延迟效应。
• 为支持多时间尺度处理的神经形态硬件提供设计指导，尤其针对STDP和回声状态网络（RC）应用。
• 弥合动力系统理论洞见与模拟脉冲神经形态硬件实际约束之间的鸿沟。
• 通过基于动力系统理论的严谨框架，弥补当前对模拟脉冲回声状态网络中记忆容量缺乏理论分析的不足。

提出的方法

• 在神经科学、数学和计算机科学领域开展跨学科文献调研，聚焦时间尺度现象。
• 运用奇异摄动理论和分岔分析，对脉冲回声状态网络中的慢-快动力学进行建模。
• 应用几何动力系统理论，表征多时间尺度系统中的信息保持与基于瞬态的记忆。
• 开发一种回声状态网络转移方法，预先配置硬件中的突触权重，以补偿快速遗忘的时间常数。
• 在Dynap-se神经形态芯片上实现并测试心跳异常分类器，利用预配置权重延长有效记忆时长。
• 通过仿真与理论建模分析脉冲RNN中的记忆容量（MC），扩展先前在离散时间回声状态网络中的研究工作。

实验结果

研究问题

• RQ1 在神经形态系统中，'时间尺度'的不同概念维度（如速度、记忆跨度和控制参数）如何相互作用？
• RQ2 在物理时间常数较快的脉冲回声状态网络中，实现长期信息保持的根本机制是什么？
• RQ3 动力系统理论如何用于表征多时间尺度脉冲网络中的基于瞬态的工作记忆？
• RQ4 生物任务时间尺度（如心跳的1秒）与可用神经形态芯片时间常数之间的不匹配，会引发哪些硬件设计约束？
• RQ5 在模拟脉冲硬件中，预先配置突触权重在多大程度上可补偿其固有的短记忆跨度？

主要发现

• 神经形态系统中的时间尺度涵盖多个概念维度，包括系统速度、记忆持续时间以及控制参数的动力学，目前尚无统一框架。
• 在Dynap-se芯片上直接训练1秒心跳分类任务失败，是由于积分时间常数不够慢，导致快速遗忘。
• 通过一种新颖的回声状态网络转移方法，预先配置突触权重以模拟更长的记忆跨度，成功实现了分类，有效补偿了硬件限制。
• 尽管在仿真中已有实验测量，但对模拟脉冲RNN中记忆容量的理论分析仍基本未被探索。
• 利用慢-快系统和奇异摄动方法，为分析多时间尺度回声状态网络中的基于瞬态记忆，提供了一个有前景的几何框架。
• 未来的神经形态硬件应支持广泛的时间常数范围，以实现对真实世界时间任务的稳健STDP和RC学习。