[论文解读] Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware

Simon F Muller-Cleve, Vittorio Fra+9 more|arXiv (Cornell University)|May 30, 2022

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出了一种基于神经形态硬件上盲文字母识别的新型时空模式识别基准。该研究基于iCub机器人电容式指尖传感器采集的新触觉数据集，评估了基于事件的编码与基于脉冲的学习方法，采用前馈和循环脉冲神经网络（SNNs）进行实验，并展示了在英特尔Loihi芯片上运行的SNN可实现约97%的准确率，且能耗较GPU上的LSTM低500倍，凸显了神经形态计算在边缘触觉感知中的能效优势。

ABSTRACT

Spatio-temporal pattern recognition is a fundamental ability of the brain which is required for numerous real-world activities. Recent deep learning approaches have reached outstanding accuracies in such tasks, but their implementation on conventional embedded solutions is still very computationally and energy expensive. Tactile sensing in robotic applications is a representative example where real-time processing and energy efficiency are required. Following a brain-inspired computing approach, we propose a new benchmark for spatio-temporal tactile pattern recognition at the edge through Braille letter reading. We recorded a new Braille letters dataset based on the capacitive tactile sensors of the iCub robot's fingertip. We then investigated the importance of spatial and temporal information as well as the impact of event-based encoding on spike-based computation. Afterward, we trained and compared feedforward and recurrent Spiking Neural Networks (SNNs) offline using Backpropagation Through Time (BPTT) with surrogate gradients, then we deployed them on the Intel Loihi neuromorphic chip for fast and efficient inference. We compared our approach to standard classifiers, in particular to the Long Short-Term Memory (LSTM) deployed on the embedded NVIDIA Jetson GPU, in terms of classification accuracy, power, energy consumption, and delay. Our results show that the LSTM reaches ~97% of accuracy, outperforming the recurrent SNN by ~17% when using continuous frame-based data instead of event-based inputs. However, the recurrent SNN on Loihi with event-based inputs is ~500 times more energy-efficient than the LSTM on Jetson, requiring a total power of only ~30 mW. This work proposes a new benchmark for tactile sensing and highlights the challenges and opportunities of event-based encoding, neuromorphic hardware, and spike-based computing for spatio-temporal pattern recognition at the edge.

研究动机与目标

• 建立基于触觉传感的神经形态计算中时空模式识别的标准化基准。
• 研究在基于事件的数据下，空间与时间信息在盲文字母识别中的作用。
• 从准确率、能耗和延迟角度，评估基于脉冲的学习（SNNs）与传统分类器（如LSTM）的性能差异。
• 展示事件驱动传感与神经形态硬件在实时、低功耗边缘推理中的触觉感知优势。
• 提供开源数据集与代码，以加速基于事件的神经形态机器学习研究。

提出的方法

• 利用iCub机器人指尖的电容式触觉传感器，采集动态触觉交互数据，构建新的盲文字母数据集。
• 通过将连续帧基传感器数据转换为稀疏、带时间戳的脉冲事件，实现基于事件的编码，以模拟生物神经信号。
• 使用带有替代梯度的反向传播时间反向传播（BPTT）方法，对前馈和循环脉冲神经网络（SNNs）进行端到端训练。
• 在英特尔Loihi神经形态芯片上部署训练好的SNN，实现低功耗、实时推理。
• 在准确率、能耗和计算延迟方面，将SNN性能与部署在NVIDIA Jetson GPU上的标准LSTM分类器进行对比。
• 采用主成分分析（PCA）与线性SVM分析，研究不同编码方案与网络表征中的信息含量。

实验结果

研究问题

• RQ1 基于事件的编码如何影响脉冲神经网络在触觉时空模式识别中的性能？
• RQ2 在神经形态硬件上使用SNN与在GPU上使用传统深度学习模型相比，准确率与能效之间的权衡如何？
• RQ3 触觉传感器数据中的空间与时间特征在多大程度上促进准确的盲文字母识别？
• RQ4 在此类触觉识别任务中，循环SNN的性能与标准RNN（如LSTM）相比如何？
• RQ5 神经形态硬件能否实现面向边缘触觉感知系统的实时、低功耗推理？

主要发现

• 在NVIDIA Jetson GPU上运行的LSTM分类器，使用连续帧基数据，实现了约97%的分类准确率。
• 在英特尔Loihi芯片上运行的循环SNN，使用基于事件的输入，实现了约80%的准确率，与LSTM相比存在约17%的性能差距。
• 尽管准确率较低，Loihi上的SNN功耗仅为约30 mW，相比GPU上的LSTM实现了约500倍的能效降低。
• 基于事件的编码减少了数据传输与处理开销，与触觉刺激的稀疏特性相一致。
• 本研究证明，神经形态硬件可实现高度能效的推理，非常适合实时、嵌入式触觉传感应用。
• 开源数据集（DOI: 10.5281/zenodo.7050094）与代码为神经形态机器学习的未来基准测试与开发奠定了基础。