[论文解读] Bottom-up and top-down approaches for the design of neuromorphic processing systems: Tradeoffs and synergies between natural and artificial intelligence

Charlotte Frenkel, David Bol+1 more|arXiv (Cornell University)|Jun 2, 2021

Advanced Memory and Neural Computing被引用 5

一句话总结

本文比较了自下而上（生物启发式）和自上而下（应用驱动式）的类脑系统设计方法，分析了电路设计、学习范式和系统效率之间的权衡。文章识别出自然智能与人工智能之间的协同效应，提出了一套类脑智能框架，具备片上学习和事件驱动处理能力，适用于低功耗边缘计算。

ABSTRACT

While Moore's law has driven exponential computing power expectations, its nearing end calls for new avenues for improving the overall system performance. One of these avenues is the exploration of alternative brain-inspired computing architectures that aim at achieving the flexibility and computational efficiency of biological neural processing systems. Within this context, neuromorphic engineering represents a paradigm shift in computing based on the implementation of spiking neural network architectures in which processing and memory are tightly co-located. In this paper, we provide a comprehensive overview of the field, highlighting the different levels of granularity at which this paradigm shift is realized and comparing design approaches that focus on replicating natural intelligence (bottom-up) versus those that aim at solving practical artificial intelligence applications (top-down). First, we present the analog, mixed-signal and digital circuit design styles, identifying the boundary between processing and memory through time multiplexing, in-memory computation, and novel devices. Then, we highlight the key tradeoffs for each of the bottom-up and top-down design approaches, survey their silicon implementations, and carry out detailed comparative analyses to extract design guidelines. Finally, we identify necessary synergies and missing elements required to achieve a competitive advantage for neuromorphic systems over conventional machine-learning accelerators in edge computing applications, and outline the key ingredients for a framework toward neuromorphic intelligence.

研究动机与目标

• 分析自下而上（生物启发式）与自上而下（应用驱动式）类脑系统设计方法之间的权衡与协同效应。
• 识别在实现高效、通用且可适应的类脑系统以用于边缘计算方面面临的关键挑战。
• 综述模拟、混合信号和数字类脑电路中的硅基实现。
• 建立将突触可塑性与片上学习集成到类脑硬件中的设计准则。
• 提出一个类脑智能框架，弥合自然智能与人工智能之间的鸿沟

提出的方法

• 对三种电路类型（模拟、混合信号和数字）中的类脑系统设计进行对比分析，重点关注处理与存储的共置。
• 基于生物神经架构评估自下而上的方法，针对实际人工智能应用评估自上而下的方法。
• 研究时间复用、内存内计算以及新型器件作为模糊处理与存储边界的技术手段。
• 回顾具备片上在线学习与突触可塑性的脉冲神经网络的硅基实现。
• 分析不同类脑平台在能效、推理速度和适应性等关键性能指标上的表现。
• 提出一个类脑智能框架，整合事件驱动处理、低功耗运行和实时自适应能力

实验结果

研究问题

• RQ1 自下而上与自上而下的类脑系统设计方法之间存在哪些关键权衡？
• RQ2 不同电路设计类型（模拟、混合信号、数字）如何影响类脑芯片中处理与存储的共置？
• RQ3 片上学习在实现边缘类脑应用中的自适应性与隐私保护方面发挥什么作用？
• RQ4 类脑系统如何缩小与传统人工智能加速器在效率与通用性方面的差距？
• RQ5 为实现具有竞争力的类脑智能，自然智能与人工智能之间需要哪些协同效应？

主要发现

• 基于脉冲神经网络的类脑系统相比传统深度学习加速器具有显著更高的能效，人类大脑功耗约为20 W，而AlphaGo Zero的功耗约为1 kW。
• 自下而上的方法能够更紧密地集成可塑性与事件驱动处理，支持实时自适应与低延迟推理。
• 自上而下的方法在图像识别和关键词检测等窄域人工智能任务中表现出色，但需对新任务进行大量重新训练。
• 通过HICANN-X和ReckOn等平台，语音和生物信号（如EEG、ECG）的端到端脉冲处理是可行的，避免了计算成本高昂的片外预处理。
• 片上学习对于可穿戴设备和机器人系统实现自主适应至关重要，可减少对集中式计算的依赖并保护隐私。
• NeuroBench计划正发展为一项关键基准套件，可实现对异构类脑软硬件平台之间公平、标准化的比较。