[论文解读] A neuromorphic hardware architecture using the Neural Engineering Framework for pattern recognition

Runchun Wang, Chetan Singh Thakur+3 more|arXiv (Cornell University)|Jul 21, 2015

Advanced Memory and Neural Computing参考文献 20被引用 12

一句话总结

该论文提出了一种基于神经形态FPGA的硬件架构，利用神经工程框架（NEF）实现基于定点数的实时模式识别，并采用时间复用神经核心。通过并行实现在线伪逆权重更新，系统在每秒512万位数字的处理速度下，于MNIST手写数字识别任务中实现了96.55%的准确率，展示了其在多种模式识别任务中的可扩展性与高效性。

ABSTRACT

We present a hardware architecture that uses the Neural Engineering Framework (NEF) to implement large-scale neural networks on Field Programmable Gate Arrays (FPGAs) for performing pattern recognition in real time. NEF is a framework that is capable of synthesising large-scale cognitive systems from subnetworks. We will first present the architecture of the proposed neural network implemented using fixed-point numbers and demonstrate a routine that computes the decoding weights by using the online pseudoinverse update method (OPIUM) in a parallel and distributed manner. The proposed system is efficiently implemented on a compact digital neural core. This neural core consists of 64 neurons that are instantiated by a single physical neuron using a time-multiplexing approach. As a proof of concept, we combined 128 identical neural cores together to build a handwritten digit recognition system using the MNIST database and achieved a recognition rate of 96.55%. The system is implemented on a state-of-the-art FPGA and can process 5.12 million digits per second. The architecture is not limited to handwriting recognition, but is generally applicable as an extremely fast pattern recognition processor for various kinds of patterns such as speech and images.

研究动机与目标

• 设计一种基于神经工程框架（NEF）的可扩展、实时神经形态硬件架构，用于模式识别。
• 使用定点数算术在FPGA上实现大规模神经网络，以提升效率与硬件紧凑性。
• 通过在线伪逆更新方法（OPIUM）实现解码权重的并行与分布式计算。
• 利用时间复用神经核心架构，实现高速、低面积的模式识别。

提出的方法

• 系统采用定点数表示进行神经计算，以确保硬件效率与确定性。
• 采用时间复用技术，使单个物理神经元可模拟64个虚拟神经元，从而降低面积与功耗。
• 神经核心实现NEF框架，支持通过子网络模块化构建认知系统。
• 解码权重通过在线伪逆更新方法（OPIUM）计算，并在神经核心内并行更新。
• 将12个8个相同的神经核心互连，构成可扩展的模式识别系统。
• 在先进FPGA上部署该架构，以实现高吞吐量与低延迟。

实验结果

研究问题

• RQ1 神经工程框架（NEF）能否有效映射到紧凑的FPGA神经形态架构上，以实现实时模式识别？
• RQ2 定点数算术与时间复用技术在有限硬件资源上模拟大规模神经网络的效率如何？
• RQ3 在神经形态系统中，基于分布式并行OPIUM的权重更新机制的性能上限是什么？
• RQ4 所提出的架构能否在标准基准数据集（如MNIST）上实现高准确率与高吞吐量？
• RQ5 该系统是否具备泛化能力，可扩展至手写识别以外的其他模式识别任务，如语音或图像处理？

主要发现

• 系统在MNIST手写数字数据集上实现了96.55%的识别准确率，使用了128个神经核心。
• 该架构每秒处理512万位数字，展现出适用于实时应用的高吞吐量。
• 时间复用技术使每个物理神经元可支持64个虚拟神经元，显著减小了硬件占用面积。
• 在线伪逆更新方法（OPIUM）成功实现并行与分布式更新，支持自适应权重学习。
• 系统展现出良好的可扩展性与可重用性，具备应用于多种模式识别任务（包括手写识别之外）的潜力。
• 定点数实现保持了足够的精度，以支持高准确率识别，同时确保硬件效率。