[论文解读] INsight: A Neuromorphic Computing System for Evaluation of Large Neural Networks

Jaeyong Chung, Taehwan Shin+1 more|arXiv (Cornell University)|Aug 5, 2015

Advanced Memory and Neural Computing参考文献 16被引用 11

一句话总结

该论文提出INsight，一种神经形态计算系统，通过低秩近似压缩权重，并将所得稀疏连接、带时间延迟的神经网络（TDNN）映射到FPGA，从而实现大型神经网络的能效高效的推理。该系统在MNIST数据集上实现97.64%的准确率，所有权重均存储在片上，消除了外部内存访问，实现了非冯·诺依曼、低功耗运行。

ABSTRACT

Deep neural networks have been demonstrated impressive results in various cognitive tasks such as object detection and image classification. In order to execute large networks, Von Neumann computers store the large number of weight parameters in external memories, and processing elements are timed-shared, which leads to power-hungry I/O operations and processing bottlenecks. This paper describes a neuromorphic computing system that is designed from the ground up for the energy-efficient evaluation of large-scale neural networks. The computing system consists of a non-conventional compiler, a neuromorphic architecture, and a space-efficient microarchitecture that leverages existing integrated circuit design methodologies. The compiler factorizes a trained, feedforward network into a sparsely connected network, compresses the weights linearly, and generates a time delay neural network reducing the number of connections. The connections and units in the simplified network are mapped to silicon synapses and neurons. We demonstrate an implementation of the neuromorphic computing system based on a field-programmable gate array that performs the MNIST hand-written digit classification with 97.64% accuracy.

研究动机与目标

• 为解决冯·诺依曼架构在评估大型神经网络时存在的高能耗和处理瓶颈问题。
• 设计一种将所有权重参数存储在片上的神经形态系统，以消除片外内存访问。
• 利用基于FPGA的神经形态硬件实现深度神经网络的高效、低功耗推理。
• 在通过低秩近似和TDNN转换大幅减少模型参数的同时，保持高分类准确率。
• 展示一个从编译器到微架构的完整集成神经形态栈，专为推理工作负载而定制。

提出的方法

• 编译器将训练好的前馈网络分解为稀疏连接、带时间延迟的神经网络（TDNN），以减少连接数和参数量。
• 应用低秩近似对权重矩阵进行压缩，最大限度减少准确率损失，同时实现片上存储。
• 使用自定义编译器和FPGA设计流程，将简化后的网络映射到硅基突触和数字脉冲神经元。
• 系统使用片上块RAM作为帧缓冲，完全避免外部内存，从而实现非冯·诺依曼架构。
• 使用标准IC设计工具自动完成神经网络单元和延迟元件的布局与布线，实现高效的硬件映射。
• 该实现针对FPGA进行优化，最终系统每张图像的推理耗时156.8 μs。

实验结果

研究问题

• RQ1 神经形态系统是否能在所有权重均存储在片上、避免外部内存访问的情况下实现高准确率的神经网络推理？
• RQ2 低秩近似和TDNN转换在多大程度上能减少模型参数，同时保持较小的准确率损失？
• RQ3 标准FPGA设计方法在多大程度上可被适配以实现完整的神经形态推理系统？
• RQ4 非冯·诺依曼神经形态架构是否能在嵌入式平台上实现实时、低功耗推理？
• RQ5 在神经形态推理系统中，参数压缩、硬件成本与分类准确率之间的权衡关系如何？

主要发现

• 该神经形态系统在MNIST数据集上仅使用片上内存和小型FPGA，实现了97.64%的分类准确率。
• 系统每张输入图像的处理时间为156.8 μs，展示了实时推理能力。
• 所有权重参数（原始网络中为109,760个）均存储在片上，完全消除了外部内存访问。
• 编译器在单层网络中将参数数量减少了高达9.52倍，在更深的网络架构中减少超过100倍，且准确率损失极小。
• ConvNet2在FPGA上的实现与仿真结果完全一致，验证了功能正确性。
• 该方法可扩展至更大规模的FPGA或专用ASIC，支持在片上实现超过400万个参数的网络。