[论文解读] Deep Spiking Neural Networks for Large Vocabulary Automatic Speech Recognition

Jibin Wu, Emre Yılmaz+3 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Memory and Neural Computing参考文献 80被引用 7

一句话总结

本文提出用于大规模词汇量自动语音识别（LVCSR）的深度脉冲神经网络（SNNs），采用并联学习训练方法，在显著降低计算成本和推理时间的同时，实现了具有竞争力的语音识别准确率。该研究首次成功将SNNs应用于LVCSR基准测试，在神经形态硬件上部署时，与等效的人工神经网络（ANNs）相比，能耗和芯片面积最高可降低一个数量级。

ABSTRACT

Artificial neural networks (ANN) have become the mainstream acoustic modeling technique for large vocabulary automatic speech recognition (ASR). A conventional ANN features a multi-layer architecture that requires massive amounts of computation. The brain-inspired spiking neural networks (SNN) closely mimic the biological neural networks and can operate on low-power neuromorphic hardware with spike-based computation. Motivated by their unprecedented energyefficiency and rapid information processing capability, we explore the use of SNNs for speech recognition. In this work, we use SNNs for acoustic modeling and evaluate their performance on several large vocabulary recognition scenarios. The experimental results demonstrate competitive ASR accuracies to their ANN counterparts, while require significantly reduced computational cost and inference time. Integrating the algorithmic power of deep SNNs with energy-efficient neuromorphic hardware, therefore, offer an attractive solution for ASR applications running locally on mobile and embedded devices.

研究动机与目标

• 探索使用脉冲神经网络（SNNs）进行大规模词汇量连续语音识别（LVCSR）的可行性。
• 解决由于脉冲生成过程不可微分而导致的深度SNN训练难题。
• 在计算和能耗成本方面显著低于传统人工神经网络（ANNs）的前提下，实现具有竞争力的语音识别性能。
• 将基于SNN的声学模型集成到现有语音识别工具链中，实现在移动和嵌入式设备上的实际部署。
• 展示深度SNN的算法高效性与神经形态硬件的能效优势相结合，在设备端实现持续运行的语音识别的潜力。

提出的方法

• 本研究采用并联学习规则训练深度SNNs，使脉冲网络中的时间反向传播成为可能。
• 通过使用替代梯度方法，端到端训练SNNs以近似不可微分的脉冲函数。
• 将SNN声学模型集成到PyTorch-Kaldi语音识别工具链中，实现开发与评估的无缝衔接。
• 采用基于感知的听觉编码方案将音频特征编码为脉冲流，使脉冲活动减少约50%，同时保持感知质量几乎不变。
• 在神经形态硬件（如Loihi）上部署训练好的SNNs，以评估其能耗和面积效率。
• 在LibriSpeech、Switchboard和TIMIT等标准LVCSR基准上开展实验，以评估性能与效率。

实验结果

研究问题

• RQ1 深度SNNs能否在大规模词汇量基准上实现与当前最先进ANNs相当的语音识别准确率？
• RQ2 并联学习规则如何实现对深度SNNs的有效训练，以应对序列语音识别任务的挑战？
• RQ3 与传统ANNs相比，将SNNs部署在神经形态硬件上时，其能耗和计算效率的提升程度如何？
• RQ4 SNNs能否被有效集成到PyTorch-Kaldi等现有语音识别软件工具链中，以实现实际部署？
• RQ5 采用基于感知的编码方案，可在不降低识别性能的前提下，将脉冲事件减少到何种程度？

主要发现

• 所提出的基于SNN的声学模型在LibriSpeech、Switchboard和TIMIT基准上实现了具有竞争力的词错误率（WER），与对应的ANN模型相当。
• 当在神经形态硬件上部署时，SNNs相比等效的ANNs，能耗和芯片面积最高可降低10倍。
• 并联学习方法有效克服了脉冲生成不可微分的问题，实现了对深度SNNs在LVCSR任务中的有效训练。
• 采用基于感知的听觉编码方案可将脉冲事件减少约50%，同时对音频质量或识别准确率的影响可忽略不计。
• 将SNNs集成到PyTorch-Kaldi工具链中，实现了SNN语音识别系统的快速原型设计与部署。
• 结果表明，可在移动和嵌入式系统中实现高性能、低功耗的SNN，用于设备端持续运行的语音识别。