[论文解读] A Real-time Robot-based Auxiliary System for Risk Evaluation of COVID-19 Infection

Wenqi Wei, Jianzong Wang+3 more|arXiv (Cornell University)|Aug 18, 2020

Respiratory viral infections research参考文献 23被引用 7

一句话总结

本文提出了一种基于机器人的实时辅助系统，用于评估新冠肺炎风险，该系统整合了语音识别、体温感应以及一种基于注意力相似度的新型卷积神经网络（CNN）咳嗽检测与分类模型。该系统在咳嗽检测中实现了98.8%的真正例率，在新冠肺炎咳嗽分类中达到76%的Top-1准确率，可在公共场所实现非接触式、自动化的筛查。

ABSTRACT

In this paper, we propose a real-time robot-based auxiliary system for risk evaluation of COVID-19 infection. It combines real-time speech recognition, temperature measurement, keyword detection, cough detection and other functions in order to convert live audio into actionable structured data to achieve the COVID-19 infection risk assessment function. In order to better evaluate the COVID-19 infection, we propose an end-to-end method for cough detection and classification for our proposed system. It is based on real conversation data from human-robot, which processes speech signals to detect cough and classifies it if detected. The structure of our model are maintained concise to be implemented for real-time applications. And we further embed this entire auxiliary diagnostic system in the robot and it is placed in the communities, hospitals and supermarkets to support COVID-19 testing. The system can be further leveraged within a business rules engine, thus serving as a foundation for real-time supervision and assistance applications. Our model utilizes a pretrained, robust training environment that allows for efficient creation and customization of customer-specific health states.

研究动机与目标

• 开发一种非接触式、实时的基于机器人系统，用于在公共场所自动进行新冠肺炎风险筛查。
• 通过整合基于语音的症状检测（尤其是咳嗽）来克服传统体温筛查的局限性，实现在早期识别风险。
• 设计一种稳健的端到端咳嗽检测与分类模型，能够处理长度可变的咳嗽信号，并在数据有限的情况下减少过拟合。
• 实现与电子病历系统和疫情地图的集成，以支持公共卫生监测与资源调配。
• 通过实时、自动化的症状评估，支持远程分诊，减轻医疗系统负担。

提出的方法

• 采用具有多尺度时间感受野的CNN咳嗽检测网络，以捕捉短时、低振幅的咳嗽。
• 基于注意力相似度的分类器，通过计算测试咳嗽与已知疾病类别均值嵌入之间的相似度，实现少样本学习。
• 在人机对话框架中集成实时语音处理、红外体温测量和关键词检测。
• 利用大规模咳嗽数据集上的预训练模型，以提升泛化能力并减少过拟合。
• 在移动机器人上端到端部署系统，实现在医院、社区和超市等场景中的实时运行。
• 将对话内容、咳嗽事件和体温数据记录至电子病历系统，用于数据存储与分析。

实验结果

研究问题

• RQ1 基于机器人系统能否通过音频信号在真实人机对话中有效实现实时咳嗽事件检测？
• RQ2 基于注意力相似度的深度学习模型能否在训练数据有限的情况下，准确地将咳嗽分类为不同疾病类别（包括新冠肺炎）？
• RQ3 与传统方法相比，所提出的咳嗽检测与分类系统在敏感性、特异性和假阳性率方面表现如何？
• RQ4 该系统能否在公共场所实现实时、非接触式的风险评估，以减少交叉感染和医疗资源压力？
• RQ5 该系统在多大程度上可提升对高风险个体的早期识别，以实现隔离与检测？

主要发现

• 所提出的咳嗽检测模型实现了98.8%的真正例率和2.34%的假阳性率，优于SVM、GMM和ANN基线模型。
• 基于注意力相似度的分类器在多类别咳嗽分类中达到79%的Top-1准确率，在新冠肺炎分类中达到76%的Top-1准确率。
• 该系统在新冠肺炎咳嗽分类中表现出98.7%的敏感性和94.7%的特异性，显示出强大的诊断潜力。
• 该模型在百日咳检测中表现优异（敏感性达99.8%），支气管炎检测中敏感性为94.3%，而对慢性疾病（如咽炎）的分类准确率较低。
• 该系统实现了实时、无接触的筛查，并支持与电子病历系统集成，用于公共卫生监测与疫情地图绘制。
• 在机器人平台上整合语音交互、体温感应与咳嗽分析，实现了在社区和临床环境中可扩展的自动化风险评估。