[论文解读] Audio, Speech, Language, & Signal Processing for COVID-19: A Comprehensive Overview

Gauri Deshpande, Björn W. Schuller|arXiv (Cornell University)|Nov 29, 2020

COVID-19 diagnosis using AI被引用 5

一句话总结

本文全面综述了人工智能驱动的音频、语音和信号处理技术在新冠肺炎筛查、诊断、监测和意识提升中的应用。研究突出展示了语音和音频特征（如MFCC、NMF和深度学习模型）在检测咳嗽、呼吸异常及心理压力等呼吸道症状方面的应用，咳嗽检测的AUC最高达91.6%，在嗜睡和抑郁预测方面也展现出有希望的皮尔逊相关性评分。

ABSTRACT

The Coronavirus (COVID-19) pandemic has been the research focus world-wide in the year 2020. Several efforts, from collection of COVID-19 patients' data to screening them for the virus's detection are taken with rigour. A major portion of COVID-19 symptoms are related to the functioning of the respiratory system, which in-turn critically influences the human speech production system. This drives the research focus towards identifying the markers of COVID-19 in speech and other human generated audio signals. In this paper, we give an overview of the speech and other audio signal, language and general signal processing-based work done using Artificial Intelligence techniques to screen, diagnose, monitor, and spread the awareness aboutCOVID-19. We also briefly describe the research related to detect accord-ing COVID-19 symptoms carried out so far. We aspire that this collective information will be useful in developing automated systems, which can help in the context of COVID-19 using non-obtrusive and easy to use modalities such as audio, speech, and language.

研究动机与目标

• 整合并分析基于人工智能的音频、语音与信号处理研究，以应对新冠肺炎疫情。
• 识别利用语音和音频信号进行非侵入性、低成本且可扩展的新冠肺炎筛查与监测方法。
• 评估计算副语言学与情感计算在疫情期间检测压力、焦虑与抑郁中的作用。
• 指出现有研究中的不足，并为未来开发自动化、可靠且与临床一致的工具提供指导。
• 推动基于语音的系统与聊天机器人及数字健康平台的整合，以实现公共卫生影响。

提出的方法

• 对100余项关于音频与语音处理在新冠肺炎应用中的研究进行系统性综述。
• 在语音和音频数据集上应用机器学习与深度学习模型，如XGBoost、SVM及注意力机制网络。
• 采用信号处理技术，包括梅尔频率倒谱系数（MFCCs）、非负矩阵分解（NMF）和伽马 Tone 频率倒谱系数（GFCCs）。
• 使用高级特征表示方法，如Fisher向量、音频词袋（BoAW）及注意力机制，以提升回归与分类性能。
• 通过网络剪枝与量化优化模型，使模型大小减少95%而性能无损失。
• 利用现有数据集（如DAICWOZ和Interspeech 2019挑战赛数据）进行压力与嗜睡检测。

实验结果

研究问题

• RQ1 语音和音频信号能否可靠检测新冠肺炎的早期征兆，如异常咳嗽或呼吸模式？
• RQ2 机器学习模型在利用音频特征区分新冠肺炎相关咳嗽与其他呼吸道疾病方面效果如何？
• RQ3 语音和音频处理在疫情压力下对个体心理困扰、疲劳或嗜睡的检测能力如何？
• RQ4 在公共卫生危机期间，部署真实世界中可扩展且符合隐私要求的基于音频的筛查系统面临哪些关键挑战？
• RQ5 如何将语音与语言处理与聊天机器人整合，以增强公共卫生意识并减少错误信息传播？

主要发现

• 使用12个MFCC和XGBoost进行咳嗽声音检测，AUC达到0.916，表明具有强大的诊断潜力。
• 基于NMF的特征提取相比传统特征（如MFCC和GFCC）将准确率、召回率和F1分数分别提升了1%。
• 利用COMPARE特征与Fisher向量进行嗜睡检测，在950名受试者的数据集中，Spearman等级相关系数达到0.383。
• 在DAICWOZ数据集上，使用分层注意力迁移网络进行抑郁预测，得到RMSE为5.66，MAE为4.28。
• 模型压缩技术使深度学习模型大小减少95%而性能无下降，从而实现设备端部署。
• 将基于语音的筛查与聊天机器人整合，可减少人工干预，提升公共卫生监测的可扩展性。