[论文解读] An Overview on Audio, Signal, Speech, & Language Processing for COVID-19

Gauri Deshpande, Björn W. Schuller|arXiv (Cornell University)|May 18, 2020

COVID-19 diagnosis using AI被引用 7

一句话总结

本文综述了在新冠疫情初期开发的音频、语音和信号处理技术，旨在支持筛查、监测和心理健康支持。研究重点介绍了利用MFCC、CNN和SVM等深度学习模型对语音和音频数据进行分析，以检测呼吸系统症状、压力和口罩佩戴情况，咳嗽检测的AUC最高达94.6%，呼吸事件检测的灵敏度达91.2%。

ABSTRACT

Recently, there has been an increased attention towards innovating, enhancing, building, and deploying applications of speech signal processing for providing assistance and relief to human mankind from the Coronavirus (COVID-19) pandemic. Many AI with speech initiatives are taken to combat with the present situation and also to create a safe and secure environment for the future. This paper summarises all these efforts taken by the re-search community towards helping the individuals and the society in the fight against COVID-19 over the past 3-4 months using speech signal processing. We also summarise the deep techniques used in this direction to come up with capable solutions in a short span of time. This paper further gives an overview of the contributions from non-speech modalities that may complement or serve as inspiration for audio and speech analysis. In addition, we discuss our observations with respect to solution usability, challenges, and the significant technology achievements.

研究动机与目标

• 总结近期在音频和语音信号处理领域为应对新冠疫情所取得的进展。
• 识别应用于语音和音频数据以检测症状和监测心理健康的机器学习与深度学习关键技术。
• 评估人工智能驱动解决方案在临床和公共卫生环境中的可用性、挑战及技术成就。
• 探讨结合音频、文本和图像处理的多模态方法在增强疫情应对中的作用。
• 通过识别数据可用性、模型可靠性及人工智能健康监测中的伦理考量方面的研究空白，为未来研究提供指导。

提出的方法

• 采用基于频谱图的特征（如STFT、MFCC和MFB）对咳嗽和呼吸音分类中的音频表示进行处理。
• 应用深度学习模型（包括CNN、RNN和SVM）对语音和音频信号进行分类，以检测咳嗽、呼吸异常和压力等症状。
• 采用传统信号处理技术（如FFT、PCA以及能量/音高特征）进行低层次声学建模。
• 整合功能性和语调特征（例如来自openSMILE的特征），从语音中检测压力和焦虑等情绪状态。
• 将音频与文本和图像模态相结合，利用自然语言处理和计算机视觉技术进行情感分析和戴口罩人脸检测。
• 在公开数据集和专业数据集上评估模型，包括Google AudioSet、Freesound以及患有呼吸系统疾病患者的临床录音。

实验结果

研究问题

• RQ1 如何利用音频和语音信号处理技术，通过呼吸系统症状检测新冠感染的早期迹象？
• RQ2 在分类咳嗽、呼吸模式和声音压力方面，哪些深度学习架构和声学特征最为有效？
• RQ3 人工智能系统如何在疫情相关的隔离与压力环境下支持心理健康监测？
• RQ4 在现实世界公共卫生环境中部署基于语音的人工智能工具面临哪些关键挑战？
• RQ5 如何通过整合音频、文本和图像数据的多模态系统提升疫情应对中的准确性和可用性？

主要发现

• 基于STFT、MFCC和CNN的咳嗽检测在包含180万个YouTube和Freesound音频片段的数据集上达到0.946的AUC。
• 利用频谱图和CNN-RNN模型进行呼吸事件检测，灵敏度达91.2%，平均绝对误差为每分钟1.01次呼吸。
• 通过openSMILE特征和k-NN/SVM分类器从紧急呼叫中检测压力，实现了高准确率的情绪困扰识别。
• 利用图像处理技术进行口罩佩戴检测，准确率达95%，支持在高密度区域实现自动化公共卫生监测。
• 对社交媒体和患者调查的文本分析显示，对医院后勤存在负面情绪，而对医护人员互动则呈现正面情绪。
• 基于语音识别和语音合成的聊天机器人有助于收集恢复期血浆捐献数据，提升了对康复疗法的可及性。