[论文解读] Machine Learning based COVID-19 Detection from Smartphone Recordings: Cough, Breath and Speech

Madhurananda Pahar, Thomas Niesler|arXiv (Cornell University)|Apr 2, 2021

COVID-19 diagnosis using AI参考文献 17被引用 10

一句话总结

本研究提出了一种基于智能手机的非侵入性COVID-19检测系统，利用机器学习分析咳嗽、呼吸和语音录音。基于Coswara和ComParE数据集，该系统在咳嗽检测中AUC最高达0.93（使用KNN与SFS），在呼吸检测中AUC达0.92（使用ResNet50），表明语音音频——尤其是咳嗽声——包含人耳无法察觉的可检测COVID-19特征。

ABSTRACT

We present an experimental investigation into the automatic detection of COVID-19 from smartphone recordings of coughs, breaths and speech. This type of screening is attractive because it is non-contact, does not require specialist medical expertise or laboratory facilities and can easily be deployed on inexpensive consumer hardware. We base our experiments on two datasets, Coswara and ComParE, containing recordings of coughing, breathing and speech from subjects around the globe. We have considered seven machine learning classifiers and all of them are trained and evaluated using leave-p-out cross-validation. For the Coswara data, the highest AUC of 0.92 was achieved using a Resnet50 architecture on breaths. For the ComParE data, the highest AUC of 0.93 was achieved using a k-nearest neighbours (KNN) classifier on cough recordings after selecting the best 12 features using sequential forward selection (SFS) and the highest AUC of 0.91 was also achieved on speech by a multilayer perceptron (MLP) when using SFS to select the best 23 features. We conclude that among all vocal audio, coughs carry the strongest COVID-19 signature followed by breath and speech. Although these signatures are not perceivable by human ear, machine learning based COVID-19 detection is possible from vocal audio recorded via smartphone.

研究动机与目标

• 开发一种低成本、非接触式且可扩展的COVID-19检测方法，仅依赖智能手机录制的语音信号。
• 评估不同机器学习模型在从咳嗽、呼吸和语音音频中识别COVID-19方面的有效性。
• 比较不同语音模态（咳嗽、呼吸和语音）在识别SARS-CoV-2感染方面的诊断潜力。
• 识别最具信息量的音频特征，并通过特征选择技术优化模型性能。
• 利用公开可用的数据集（Coswara和ComParE）评估模型在多样化全球人群中的泛化能力。

提出的方法

• 本研究采用留p-out交叉验证，以确保在多样化受试者子集上的稳健模型评估。
• 在Coswara和ComParE数据集的音频记录上，训练并测试了七种机器学习分类器，包括ResNet50、KNN和MLP。
• 采用序列前向选择（SFS）从原始音频中识别最具区分性的特征，以提升模型泛化能力。
• 从咳嗽、呼吸和语音样本中提取音频特征，对原始语谱图应用深度学习（ResNet50）以检测复杂模式。
• 使用曲线下面积（AUC）作为评估标准，这是医学诊断中二分类任务的常用指标。
• 分析比较了不同语音类型（咳嗽、呼吸、语音）和数据集上的模型性能，以确定最具信息量的模态。

实验结果

研究问题

• RQ1 在智能手机录制的音频中，哪种语音模态——咳嗽、呼吸或语音——含有最强的可检测COVID-19特征？
• RQ2 哪些机器学习模型在从语音录音中检测COVID-19时达到最高的诊断性能（AUC）？
• RQ3 特征选择（如SFS）如何提升该任务中机器学习模型的性能？
• RQ4 轻量级、消费级智能手机系统是否能无需临床专业知识或实验室设施可靠检测COVID-19？
• RQ5 模型性能和泛化能力在Coswara和ComParE等多样化全球数据集上如何变化？

主要发现

• 咳嗽录音表现出最高的诊断性能，使用k最近邻（KNN）分类器并经特征选择后，AUC达到0.93。
• 呼吸录音表现次之，使用ResNet50架构在Coswara数据集上AUC达0.92。
• 语音录音使用多层感知机（MLP）并选取最佳23个特征（通过序列前向选择），AUC达0.91。
• 本研究证实，语音音频——尤其是咳嗽声——包含可测量的、机器可检测的COVID-19特征，尽管人耳无法察觉。
• 特征选择显著提升了模型性能，尤其是在高维音频空间中，凸显了其在优化诊断准确性中的重要性。
• 结果表明，基于智能手机的非侵入性筛查，通过语音信号检测，是一种可行、可扩展且准确的群体水平COVID-19检测方法。