[论文解读] A.I. based Embedded Speech to Text Using Deepspeech

Muhammad Hafidh Firmansyah, Anand Paul+2 more|arXiv (Cornell University)|Feb 25, 2020

Speech Recognition and Synthesis参考文献 8被引用 4

一句话总结

本论文评估了在 Raspberry Pi 3B+ 上对嵌入式语音转文本推理的 Deepspeech 0.1.0、0.1.1 和 0.6.0 版本的性能，表明 Deepspeech 0.6.0 实现了显著更快的推理速度（7 秒 vs. 102 秒）和更低的资源占用（100% CPU，200 MB 内存 vs. 250% CPU，800 MB 内存），同时保持了准确的转录效果，通过 TensorFlow Lite 优化，使低功耗设备能够实现独立、离线的语音识别。

ABSTRACT

Deepspeech was very useful for development IoT devices that need voice recognition. One of the voice recognition systems is deepspeech from Mozilla. Deepspeech is an open-source voice recognition that was using a neural network to convert speech spectrogram into a text transcript. This paper shows the implementation process of speech recognition on a low-end computational device. Development of English-language speech recognition that has many datasets become a good point for starting. The model that used results from pre-trained model that provide by each version of deepspeech, without change of the model that already released, furthermore the benefit of using raspberry pi as a media end-to-end speech recognition device become a good thing, user can change and modify of the speech recognition, and also deepspeech can be standalone device without need continuously internet connection to process speech recognition, and even this paper show the power of Tensorflow Lite can make a significant difference on inference by deepspeech rather than using Tensorflow non-Lite.This paper shows the experiment using Deepspeech version 0.1.0, 0.1.1, and 0.6.0, and there is some improvement on Deepspeech version 0.6.0, faster while processing speech-to-text on old hardware raspberry pi 3 b+.

研究动机与目标

• 评估不同 Deepspeech 版本在低计算能力嵌入式设备（如 Raspberry Pi 3B+）上的性能。
• 评估在资源受限硬件上使用预训练 Deepspeech 模型部署端到端、离线语音转文本系统的可行性。
• 比较 Deepspeech 0.1.0、0.1.1 和 0.6.0 版本在推理速度、内存消耗和 CPU 使用率方面的差异。
• 展示使用 TensorFlow Lite 优化嵌入式平台推理性能的优势。

提出的方法

• 本研究使用来自 0.1.0、0.1.1 和 0.6.0 版本的预训练 Deepspeech 模型，未进行微调，以确保实验中模型权重的一致性。
• 在 Raspberry Pi 3B+ 上使用相同的 2 秒音频文件对所有版本进行语音识别，以确保公平比较。
• 通过系统监控工具实时监测模型加载和推理期间的资源使用情况（CPU 和内存）。
• 测量并比较各版本的推理时间、模型加载时间以及转录准确性。
• 评估 TensorFlow Lite 对推理速度的影响，显示其相比标准 TensorFlow 显著提升了性能。
• Deepspeech 架构采用五层神经网络，包含 ReLU 激活函数，第四层使用双向 RNN，输出层为用于字符级预测的 Softmax 层。

实验结果

研究问题

• RQ1 Deepspeech 在 Raspberry Pi 3B+ 上不同版本（0.1.0、0.1.1 和 0.6.0）的推理性能有何差异？
• RQ2 在嵌入式 Deepspeech 部署中，使用 TensorFlow Lite 对推理速度和资源消耗有何影响？
• RQ3 在模型加载和推理过程中，不同 Deepspeech 版本的 CPU 和内存使用量如何变化？
• RQ4 从 0.1.0 版本到 0.6.0 版本，低功耗硬件上的模型加载时间改善程度如何？
• RQ5 每个 Deepspeech 版本在转录同一段音频文件时的准确性如何？与真实转录相比，转录质量如何？

主要发现

• Deepspeech 0.6.0 将 2 秒音频文件在 Raspberry Pi 3B+ 上的推理时间从 0.1.0 版本的 102 秒减少至仅 7 秒。
• 模型加载时间从 0.1.0 和 0.1.1 版本的 21 秒大幅降低至 0.6.0 版本的 0.0036 秒。
• 0.6.0 版本的 CPU 使用率峰值为 100%，而 0.1.0 和 0.1.1 版本为 250%，表明其效率显著提升。
• 内存使用量从早期版本的 800 MB 降低至 0.6.0 版本的 200 MB，使其更适合内存受限设备。
• 尽管在速度和效率方面有显著改进，0.6.0 版本的转录结果（'She had adored water or'）准确度略低于 0.1.1 版本（'She had er duc suot an gresy wahorer all year'），但两者均比 0.1.0 版本更接近真实转录。
• 在 0.6.0 版本中使用 TensorFlow Lite 显著提升了性能，使在低功耗嵌入式系统上实现实时、离线语音转文本成为可能。