[论文解读] An Early Study on Intelligent Analysis of Speech under COVID-19: Severity, Sleep Quality, Fatigue, and Anxiety

Jing Han, Kun Qian+12 more|arXiv (Cornell University)|Apr 30, 2020

COVID-19 diagnosis using AI参考文献 31被引用 22

一句话总结

本研究首次对基于语音分析的COVID-19症状评估进行了实证调查，采用eGeMAPS和ComPARE声学特征结合SVM模型，对住院患者的病情严重程度、睡眠质量、疲劳和焦虑水平进行预测。基于住院时长分类病情严重程度的平均准确率达到0.69，表明仅使用语音的模型在低成本、非侵入性筛查方面具有潜力。

ABSTRACT

The COVID-19 outbreak was announced as a global pandemic by the World Health Organisation in March 2020 and has affected a growing number of people in the past few weeks. In this context, advanced artificial intelligence techniques are brought to the fore in responding to fight against and reduce the impact of this global health crisis. In this study, we focus on developing some potential use-cases of intelligent speech analysis for COVID-19 diagnosed patients. In particular, by analysing speech recordings from these patients, we construct audio-only-based models to automatically categorise the health state of patients from four aspects, including the severity of illness, sleep quality, fatigue, and anxiety. For this purpose, two established acoustic feature sets and support vector machines are utilised. Our experiments show that an average accuracy of .69 obtained estimating the severity of illness, which is derived from the number of days in hospitalisation. We hope that this study can foster an extremely fast, low-cost, and convenient way to automatically detect the COVID-19 disease.

研究动机与目标

• 开发仅基于音频的模型，用于自动化评估COVID-19患者健康状态，包括病情严重程度、睡眠质量、疲劳和焦虑。
• 探索在疫情期间使用语音信号作为非侵入性、低成本诊断工具的可行性。
• 评估既有的声学特征集（eGeMAPS和ComPARE）在从语音记录中预测临床相关患者状态方面的性能。
• 为未来在疫情应对和远程患者监测中应用智能语音分析系统奠定基础。

提出的方法

• 2020年3月在中国武汉收集了52名住院COVID-19患者的语音样本，每位患者录制五句中性语句，通过微信完成。
• 使用三级量表（低、中、高）获取患者对睡眠质量、疲劳和焦虑程度的自报评分。
• 从每个录音的完整话语段中提取两种既有的声学特征集——eGeMAPS和ComPARE。
• 为四个预测任务（严重程度、睡眠质量、疲劳、焦虑）分别训练独立的支持向量机（SVM）模型。
• 通过交叉验证优化SVM超参数（C值），以最大化各项任务的性能。
• 使用未加权平均召回率（UAR）、准确率（WAR）和F1分数评估模型，UAR的随机水平设为0.33。

实验结果

研究问题

• RQ1 仅使用语音信号能否预测住院COVID-19患者的病情严重程度？
• RQ2 语音特征在多大程度上可预测自报的心理和生理健康状态，如睡眠质量、疲劳和焦虑？
• RQ3 在这些预测任务中，不同声学特征集（eGeMAPS与ComPARE）的性能表现如何比较？
• RQ4 基于SVM的模型在仅使用语音数据的情况下，实现可靠、非侵入性筛查的潜力有多大？

主要发现

• 基于住院时长预测病情严重程度的模型平均准确率达到0.69，表明其在非侵入性筛查方面具有较强潜力。
• 在睡眠质量预测方面，eGeMAPS的UAR为0.61，WAR为0.57，优于ComPARE（UAR：0.49，WAR：0.39）。
• 疲劳预测表现中等，eGeMAPS的UAR为0.46，WAR为0.50。
• 焦虑预测的UAR分别为eGeMAPS的0.56和ComPARE的0.53，表明语音中存在可检测的情绪状态模式。
• 表现最佳的模型在各项任务中使用了不同的C值，eGeMAPS在全部四项任务中总体表现优于ComPARE。
• 尽管结果令人鼓舞，但受限于数据集规模较小且缺乏对照组，表明在更大、更多样化的数据集上仍有改进空间。