[论文解读] Emotions Beyond Words: Non-Speech Audio Emotion Recognition With Edge Computing

Ibrahim Malik, Siddique Latif+4 more|arXiv (Cornell University)|May 1, 2023

Emotion and Mood Recognition被引用 5

一句话总结

本文提出了一种基于知识蒸馏的非语音音频情感识别系统，专为边缘计算优化，可在资源受限设备上高效检测尖叫、哭喊等非语音声音中的情感。学生模型在尖叫检测中达到78.60%的准确率，在尖叫类型分类中达到66.42%，优于MobileNetV3s，同时模型大小减少53%，推理延迟较教师模型降低近50%。

ABSTRACT

Non-speech emotion recognition has a wide range of applications including healthcare, crime control and rescue, and entertainment, to name a few. Providing these applications using edge computing has great potential, however, recent studies are focused on speech-emotion recognition using complex architectures. In this paper, a non-speech-based emotion recognition system is proposed, which can rely on edge computing to analyse emotions conveyed through non-speech expressions like screaming and crying. In particular, we explore knowledge distillation to design a computationally efficient system that can be deployed on edge devices with limited resources without degrading the performance significantly. We comprehensively evaluate our proposed framework using two publicly available datasets and highlight its effectiveness by comparing the results with the well-known MobileNet model. Our results demonstrate the feasibility and effectiveness of using edge computing for non-speech emotion detection, which can potentially improve applications that rely on emotion detection in communication networks. To the best of our knowledge, this is the first work on an edge-computing-based framework for detecting emotions in non-speech audio, offering promising directions for future research.

研究动机与目标

• 为解决非语音情感识别在边缘计算中缺乏优化系统的问题，特别是在关键实时应用场景中。
• 降低情感识别模型在低资源边缘设备（如个人助手）上部署时的计算与内存开销。
• 在真实世界噪声环境（包括咖啡馆、厨房、地铁和办公室）下评估模型的鲁棒性。
• 证明知识蒸馏可在显著减小模型大小和推理延迟的同时保持高性能。
• 为医疗保健、安全和智能家居应用中的实时情感检测提供可部署的框架。

提出的方法

• 应用知识蒸馏，将高性能大模型（教师模型）的知识迁移至更小、计算效率更高的学生模型。
• 学生模型通过教师模型生成的软标签进行训练，使其在参数量减少的情况下仍能学习复杂的情感模式。
• 该框架在两个公开的非语音音频数据集上进行评估，重点针对尖叫检测与情感分类。
• 仅在测试阶段应用噪声增强，以模拟真实声学环境并评估模型鲁棒性。
• 在搭载Intel Atom E3940 CPU的UpBoard上对模型效率进行基准测试，测量推理延迟、加载时间与模型大小。
• 以准确率、参数量与内存占用为关键指标，与MobileNetV3s及教师模型进行性能对比。

实验结果

研究问题

• RQ1 知识蒸馏能否在边缘设备上有效压缩大型情感识别模型，同时保持非语音音频的情感识别性能？
• RQ2 所提出的学生成模在咖啡馆、厨房、地铁等真实噪声环境下的表现如何？
• RQ3 在边缘部署的非语音情感识别系统中，模型大小、推理延迟与准确率之间的权衡关系如何？
• RQ4 与MobileNetV3s相比，该系统在计算效率与对背景噪声的鲁棒性方面表现如何？
• RQ5 该系统能否在低功耗硬件上实时可靠地检测并分类非语音情感表达（如尖叫与哭喊）？

主要发现

• 所提出的学生成模在尖叫检测中达到78.60%的准确率，在尖叫类型分类中达到66.42%，优于MobileNetV3s（分别为76.92%与60.15%）。
• 学生模型将模型大小减少至2.719 MB，参数量减少至712,778，相比教师模型减少了93.6%。
• 推理延迟降低至比MobileNetV3s快约20ms，且接近教师模型的一半，同时在所有测试模型中具有最快的加载时间。
• 模型在噪声环境下仍保持良好泛化能力，尖叫检测准确率在72.86%（咖啡馆）至80.13%（办公室）之间波动，分类准确率在不同噪声类型下介于63.10%至65.68%之间。
• 系统对真实世界噪声表现出强鲁棒性，当仅在测试阶段添加背景噪声时，性能下降极小。
• 结果证实了在个人助手等边缘设备上部署高效、高性能非语音情感识别系统的可行性，适用于实时预警与监控应用。