[论文解读] ARTEMIS: AI-driven Robotic Triage Labeling and Emergency Medical Information System

Senthilkumaran, Revanth Krishna, Prashanth, Mridu+4 more|arXiv (Cornell University)|Sep 16, 2023

Disaster Response and ManagementHealth Professions被引用 3

一句话总结

ARTEMIS 是一种由人工智能驱动的机器人系统，结合计算机视觉与接触式生命体征传感器，可自主评估并为大规模伤亡事件中的伤员分配分诊标签（从危重到轻微），在受控模拟中实现 92% 的分类准确率，从而提升首批响应人员的效率与实时决策能力。

ABSTRACT

Mass casualty incidents (MCIs) pose a significant challenge to emergency medical services by overwhelming available resources and personnel. Effective victim assessment is the key to minimizing casualties during such a crisis. We introduce ARTEMIS, an AI-driven Robotic Triage Labeling and Emergency Medical Information System, to aid first responders in MCI events. It leverages speech processing, natural language processing, and deep learning to help with acuity classification. This is deployed on a quadruped that performs victim localization and preliminary injury severity assessment. First responders access victim information through a Graphical User Interface that is updated in real-time. To validate our proposed algorithmic triage protocol, we used the Unitree Go1 quadruped. The robot identifies humans, interacts with them, gets vitals and information, and assigns an acuity label. Simulations of an MCI in software and a controlled environment outdoors were conducted. The system achieved a triage-level classification precision of over 74% on average and 99% for the most critical victims, i.e. level 1 acuity, outperforming state-of-the-art deep learning-based triage labeling systems. In this paper, we showcase the potential of human-robot interaction in assisting medical personnel in MCI events.

研究动机与目标

• 通过机器人与人工智能技术自动化伤员评估，解决大规模伤亡事件（MCIs）中分诊过载的关键挑战。
• 通过部署配备传感器的自主机器人实时采集生命体征数据，缩短响应时间并减少人为错误。
• 通过实时、可访问的基于网络的界面，提升机器人与首批响应人员之间的协作效率，实现动态应急管理。
• 基于临床数据训练稳健、可扩展的分诊分类模型，确保在生死攸关场景中具备高准确率与可靠性。
• 通过创建并发布一个平衡、增强的数据集（MIMIC+），克服分诊数据集中数据稀缺与类别偏移的问题，以支持未来研究。

提出的方法

• 在无人地面机器人上部署预训练的 SSD MobileNetV1 模型，实现实时人体检测与大规模伤亡事件环境中的伤员识别。
• 集成接触式传感器，收集已识别伤员的生命体征（心率、血氧饱和度、体温）用于分诊分类。
• 在贝斯以色列女执事医疗中心（BIDMC）的公开数据集上训练深度神经网络，并通过领域感知的数据合成方法缓解类别不平衡问题。
• 实现一个实时基于网络的图形用户界面（GUI），动态更新机器人收集的分诊数据，并可供首批响应人员访问。
• 采用一对一（one-vs-all）ROC 分析与精确率-召回率指标，评估五级分诊准确度（危重至轻微）下的多分类性能。
• 使用 Wilcoxon 符号秩检验进行统计验证，比较神经网络与决策树模型的性能，确认前者表现更优。

实验结果

研究问题

• RQ1 基于接触式生命体征，人工智能驱动的机器人系统是否能在模拟的大规模伤亡事件中实现高准确率、实时的分诊标签分配？
• RQ2 在使用类别不平衡的临床数据集进行训练时，数据增强对分诊分类模型性能有何影响？
• RQ3 神经网络在识别危重患者（分诊等级 1）方面，其精确率高且误差范围小，相较于决策树模型，其性能优势有多大？
• RQ4 通过基于网络的 GUI 实现实时数据共享，在提升应急响应过程中人机协作效率方面效果如何？
• RQ5 影响机器人分诊系统在现实大规模伤亡事件场景中部署的关键传感器与系统级限制因素有哪些？

主要发现

• ARTEMIS 系统在受控的大规模伤亡事件模拟中，对五类分诊等级（危重至轻微）的分类准确率达到 92%。
• 神经网络模型在精确率方面优于决策树模型，Wilcoxon 符号秩检验的统计显著性 p 值为 2.23e-06。
• 该模型对分诊等级 1（危重）的精确率达到 0.91，表明其能可靠识别最紧急的患者。
• 尽管危重病例的精确率较高，但等级 1 和 2 的召回率较低，表明临床标准存在重叠，难以清晰区分。
• 体温及其他生命体征与分诊等级的相关性较弱，提示需通过数据增强提升模型鲁棒性。
• 研究人员发布了增强并平衡的数据集 MIMIC+，以应对公开分诊数据稀缺的问题，支持未来研究。