[论文解读] Methods for applying the Neural Engineering Framework to neuromorphic hardware

Aaron R. Voelker, Chris Eliasmith|arXiv (Cornell University)|Aug 27, 2017

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出了一种基于神经工程框架（NEF）在神经形态硬件上实现线性和非线性动力系统的方法，考虑了异质性、高阶突触动力学及轴突传输延迟。通过推导解析解并利用解码导数的线性组合，该方法实现了高效的因子化权重矩阵，同时在非理想硬件特性下仍保持精确的神经表征。

ABSTRACT

We review our current software tools and theoretical methods for applying the Neural Engineering Framework to state-of-the-art neuromorphic hardware. These methods can be used to implement linear and nonlinear dynamical systems that exploit axonal transmission time-delays, and to fully account for nonideal mixed-analog-digital synapses that exhibit higher-order dynamics with heterogeneous time-constants. This summarizes earlier versions of these methods that have been discussed in a more biological context (Voelker & Eliasmith, 2017) or regarding a specific neuromorphic architecture (Voelker et al., 2017).

研究动机与目标

• 弥合传统算法与神经形态系统中连续的、基于脉冲的处理之间的理论鸿沟。
• 为具有非理想、混合模拟-数字突触的最先进神经形态硬件系统性地应用NEF开发方法。
• 在递归脉冲神经网络中考虑异质性突触时间常数和轴突传输延迟。
• 通过在复杂突触模型下仍保持因子化权重矩阵，实现动力系统在神经形态硬件上的高效实现。
• 通过整合高阶突触动力学和时间延迟，将NEF的适用性扩展到真实世界的神经形态平台。

提出的方法

• 通过推导将输入信号映射到期望神经输出的传递函数，将NEF的第三原则推广至高阶线性突触模型。
• 使用拉普拉斯变换和状态空间表示法建模突触动力学，确保系统行为具有因果性和物理真实性。
• 针对每个突触，推导出所需输入信号作为状态导数的线性组合，从而精确控制突触后电流。
• 一项关键创新是使用一组共享的解码器来处理状态导数，使得可通过这些解码器的线性组合重构复杂的突触输入。
• 该方法通过仅解码k+1个分量（k为最高阶导数的阶数）来利用因子化权重矩阵，将计算成本从O(n²)降低至O(kn)。
• 推导出使用Lambert-W函数的解析解，以处理时滞动力学，从而在系统演化过程中实现灵活的表征变换。

实验结果

研究问题

• RQ1 如何将NEF扩展以在神经形态硬件上建模具有异质时间常数的高阶突触动力学？
• RQ2 能否在基于NEF的脉冲神经网络中精确建模并利用轴突传输延迟？
• RQ3 在考虑复杂突触动力学时，如何保持神经网络实现的计算效率？
• RQ4 突触非理想性对脉冲网络中动力系统实现精度的影响是什么？
• RQ5 NEF能否被推广以允许在保持正确系统动力学的同时改变神经表征的维度？

主要发现

• 该方法通过全面考虑异质性、高阶突触动力学，实现了在神经形态硬件上对线性和非线性动力系统的精确实现。
• 使用共享解码器处理状态导数，将优化问题的数量从O(n)减少到O(k)，其中k为最大导数阶数。
• 该方法保持了因子化权重矩阵，即使在复杂突触模型下也维持了O(n)的空间和时间效率。
• 使用Lambert-W函数的解析解使得在系统演化过程中能够灵活地改变表征，尤其适用于时滞系统。
• 该方法确保网络的输入-输出传递函数与期望的动力学相匹配，即使在使用非理想、混合模拟-数字突触时亦如此。
• 采用Padé逼近将时滞转换为标准状态空间形式，保持了收敛半径内的内部表征。