[论文解读] Low-Power Low-Latency Keyword Spotting and Adaptive Control with a SpiNNaker 2 Prototype and Comparison with Loihi

Yexin Yan, Terrence C. Stewart+8 more|arXiv (Cornell University)|Sep 18, 2020

Advanced Memory and Neural Computing参考文献 44被引用 4

一句话总结

本文在关键词检测和自适应机器人控制两个基准任务中，将SpiNNaker 2类脑芯片原型与Loihi进行对比评估。结果表明，SpiNNaker 2的MAC阵列在高维向量-矩阵乘法运算中展现出更高的效率，优于Loihi在基于深度神经网络（DNN）的关键词检测和高维自适应控制任务中的表现；然而，在低维情况下，Loihi仍保持更高的效率。

ABSTRACT

We implemented two neural network based benchmark tasks on a prototype chip of the second-generation SpiNNaker (SpiNNaker 2) neuromorphic system: keyword spotting and adaptive robotic control. Keyword spotting is commonly used in smart speakers to listen for wake words, and adaptive control is used in robotic applications to adapt to unknown dynamics in an online fashion. We highlight the benefit of a multiply accumulate (MAC) array in the SpiNNaker 2 prototype which is ordinarily used in rate-based machine learning networks when employed in a neuromorphic, spiking context. In addition, the same benchmark tasks have been implemented on the Loihi neuromorphic chip, giving a side-by-side comparison regarding power consumption and computation time. While Loihi shows better efficiency when less complicated vector-matrix multiplication is involved, with the MAC array, the SpiNNaker 2 prototype shows better efficiency when high dimensional vector-matrix multiplication is involved.

研究动机与目标

• 评估SpiNNaker 2类脑芯片原型在真实世界人工智能工作负载中的性能。
• 从功耗和延迟角度，比较SpiNNaker 2基于MAC阵列的计算与Loihi专用脉冲电路的性能差异。
• 评估混合精度加速器在类脑硬件上执行混合DNN/SNN工作负载的效率。
• 确定SpiNNaker 2在神经网络推理和在线学习任务中相较于Loihi表现更优的条件。
• 为通用处理器结合加速器（SpiNNaker 2）与专用脉冲电路（Loihi）之间的架构权衡提供洞见。

提出的方法

• 在SpiNNaker 2原型上实现基于DNN的关键词检测网络，利用其MAC阵列高效执行向量-矩阵乘法。
• 将相同的关键词检测任务移植到Loihi平台，采用脉冲神经网络（SNN）版本，实现DNN与SNN推理的直接对比。
• 在两个平台上均使用SNN实现自适应控制算法，并基于误差信号实现在线突触权重更新。
• 在SpiNNaker 2中采用动态电压频率调节（DVFS）和自适应体偏置（ABB）技术，以优化能效。
• 在两个平台上使用相同的神经网络架构和超参数，确保性能比较的公平性。
• 在不同输入维度下测量每个基准任务的计算时间和有效功耗。

实验结果

研究问题

• RQ1 与Loihi的SNN实现相比，SpiNNaker 2原型的MAC阵列在基于DNN的关键词检测中如何影响推理效率？
• RQ2 在涉及在线学习的自适应控制任务中，SpiNNaker 2在何种输入维度范围内优于Loihi？
• RQ3 在处理高维向量-矩阵乘法时，SpiNNaker 2与Loihi的能量和延迟特性如何比较？
• RQ4 在混合DNN/SNN工作负载中，通用处理器结合加速器（SpiNNaker 2）与专用脉冲电路（Loihi）之间的性能权衡是什么？
• RQ5 SpiNNaker 2中的MAC阵列能否有效加速DNN和SNN工作负载？在何种条件下其性能优势最为明显？

主要发现

• 由于利用MAC阵列执行向量-矩阵乘法，SpiNNaker 2在基于DNN的关键词检测任务中实现了比Loihi更快的推理速度和更高的能效。
• 在高维输入条件下，自适应控制任务中SpiNNaker 2在计算时间和有效功耗方面均优于Loihi，此时MAC阵列的利用率最大化。
• 在低维自适应控制任务中，Loihi的效率优于SpiNNaker 2，因为SpiNNaker 2中的通用Arm核心主导了计算过程，导致更高的功耗。
• 与SpiNNaker 1上软件模拟的等效实现相比，SpiNNaker 2的MAC阵列在向量-矩阵乘法中显著提升了速度，时钟周期数估计得到改善。
• SpiNNaker 2中通用Arm核心与专用MAC加速器的结合，使得其能够高效执行DNN和SNN工作负载，而Loihi仅针对SNN进行了优化。
• 结果表明，基于MAC阵列的加速特别适用于高维神经网络工作负载，使SpiNNaker 2成为嵌入式人工智能中此类应用的有力候选者。