[论文解读] Low-Power Neuromorphic Hardware for Signal Processing Applications

Bipin Rajendran, Abu Sebastian+3 more|arXiv (Cornell University)|Jan 11, 2019

Advanced Memory and Neural Computing参考文献 34被引用 7

一句话总结

本文提出受大脑脉冲神经网络（SNN）原理启发的低功耗类脑硬件架构，以克服冯·诺依曼瓶颈，实现能效高效的信号处理。通过利用事件驱动计算、存储与处理的共置，以及新兴的忆阻器件，该方法实现了高并行性与更低的能耗，展示了其在实时、低功耗人工智能应用中的可行性。

ABSTRACT

Machine learning has emerged as the dominant tool for implementing complex cognitive tasks that require supervised, unsupervised, and reinforcement learning. While the resulting machines have demonstrated in some cases even super-human performance, their energy consumption has often proved to be prohibitive in the absence of costly super-computers. Most state-of-the-art machine learning solutions are based on memory-less models of neurons. This is unlike the neurons in the human brain, which encode and process information using temporal information in spike events. The different computing principles underlying biological neurons and how they combine together to efficiently process information is believed to be a key factor behind their superior efficiency compared to current machine learning systems. Inspired by the time-encoding mechanism used by the brain, third generation spiking neural networks (SNNs) are being studied for building a new class of information processing engines. Modern computing systems based on the von Neumann architecture, however, are ill-suited for efficiently implementing SNNs, since their performance is limited by the need to constantly shuttle data between physically separated logic and memory units. Hence, novel computational architectures that address the von Neumann bottleneck are necessary in order to build systems that can implement SNNs with low energy budgets. In this paper, we review some of the architectural and system level design aspects involved in developing a new class of brain-inspired information processing engines that mimic the time-based information encoding and processing aspects of the brain.

研究动机与目标

• 解决传统冯·诺依曼架构在运行现代机器学习工作负载时的能效低下问题。
• 通过设计非冯·诺依曼、事件驱动的类脑系统，实现存储与处理的共置，以克服冯·诺依曼瓶颈。
• 实现第三代脉冲神经网络（SNN）的高效实现，其信息通过脉冲时间编码，模拟生物神经计算。
• 推进系统级设计与硬件构建模块——神经元、突触和互连——以实现可扩展、低功耗的类脑平台。
• 集成新兴的纳米尺度忆阻器件，以提高突触和神经元电路实现的能效与面积效率。

提出的方法

• 基于异步、事件驱动的脉冲通信设计类脑系统，以最小化空闲功耗。
• 采用混合信号CMOS与新兴忆阻技术实现硬件神经元与突触，以实现低功耗运行。
• 采用计算内存架构，消除存储单元与处理单元之间的数据移动，降低能耗开销。
• 利用SNN中的时间编码，通过脉冲时间而非放电率或幅度编码信息，实现高效信号处理。
• 应用非冯·诺依曼计算原理，如数据流执行与原位计算，以提升并行性与能效。
• 集成多单元忆阻架构，以缓解电阻存储器件中的可变性与非线性问题，实现可靠的突触权重。

实验结果

研究问题

• RQ1 类脑硬件如何克服传统人工智能系统中的冯·诺依曼瓶颈，以实现低功耗信号处理？
• RQ2 哪些系统级架构原则能够实现能效极高的脉冲神经网络实现，且功耗最低？
• RQ3 与传统数字架构相比，事件驱动、时间编码的计算与存储-处理共置如何提升能效？
• RQ4 纳米尺度忆阻器件在实现类脑芯片中能效高效的突触与神经元实现方面发挥什么作用？
• RQ5 在构建面向现实世界信号处理应用的可扩展、低功耗类脑平台时，关键的设计权衡是什么？

主要发现

• 基于脉冲神经网络（SNN）的类脑系统通过利用事件驱动、异步计算，相比传统冯·诺依曼系统实现了显著更低的能耗。
• 类脑架构中存储与处理单元的共置减少了数据移动，直接解决了冯·诺依曼瓶颈，提升了能效。
• 基于混合信号CMOS的类脑加速器，如英特尔的Loihi和IBM的TrueNorth，展示了在SNN推理方面能效提升达数量级。
• 忆阻器件实现了紧凑、低功耗的突触实现，尽管存在电导漂移与随机性等问题，需通过多单元架构加以缓解。
• 基于忆阻器的计算内存单元的集成实现了原位计算，保留了信号中的时间相关性，提升了处理效率。
• 最先进的类脑芯片如SpiNNaker、BrainScaleS和NeuroGrid验证了在极低功耗预算下实现大规模、类脑信号处理的可行性。