[论文解读] An AI model for Rapid and Accurate Identification of Chemical Agents in Mass Casualty Incidents

Nicholas Boltin, Daniel Vu+4 more|arXiv (Cornell University)|Dec 12, 2019

Disaster Response and Management参考文献 10被引用 8

一句话总结

本研究评估了一种AI模型在大规模伤亡事件中快速准确识别化学剂的能力，使用WISER的症状数据。该研究将二元决策树（BDT）和人工神经网络（ANN）与WISER的基于规则的系统进行比较，在扰动测试数据上，ANN达到67%的准确率，BDT达到65%，证明了机器学习在紧急情况下用于化学剂分类的可行性。

ABSTRACT

In this report we examine the effectiveness of WISER in identification of a chemical culprit during a chemical based Mass Casualty Incident (MCI). We also evaluate and compare Binary Decision Tree (BDT) and Artificial Neural Networks (ANN) using the same experimental conditions as WISER. The reverse engineered set of Signs/Symptoms from the WISER application was used as the training set and 31,100 simulated patient records were used as the testing set. Three sets of simulated patient records were generated by 5%, 10% and 15% perturbation of the Signs/Symptoms of each chemical record. While all three methods achieved a 100% training accuracy, WISER, BDT and ANN produced performances in the range of: 1.8%-0%, 65%-26%, 67%-21% respectively. A preliminary investigation of dimensional reduction using ANN illustrated a dimensional collapse from 79 variables to 40 with little loss of classification performance.

研究动机与目标

• 评估机器学习模型（特别是BDT和ANN）与WISER系统相比，在大规模伤亡事件中识别化学剂的性能。
• 评估这些模型在不同症状数据扰动水平（5%、10%、15%）下的鲁棒性。
• 研究神经网络中的降维技术，以在不牺牲分类准确率的前提下提高效率。
• 确定机器学习模型是否能在实时化学剂识别中超越基于规则的系统（如WISER）。

提出的方法

• 本研究使用从WISER应用程序反向工程得到的症状和体征集合作为训练数据集。
• 通过在每种化学剂原始症状特征中引入5%、10%和15%的扰动，生成了31,100条模拟患者记录。
• 在相同条件下使用相同的训练集和测试集，对二元决策树（BDT）和人工神经网络（ANN）进行训练和测试。
• 对ANN模型应用降维技术，以评估其对性能和模型复杂度的影响。
• 通过在不同扰动水平下计算分类准确率来评估性能。
• WISER系统作为基线比较对象，使用其基于规则的逻辑进行剂种识别。

实验结果

研究问题

• RQ1 机器学习模型（如BDT和ANN）是否能在从患者症状中识别化学剂方面超越WISER的基于规则的系统？
• RQ2 症状数据扰动程度的增加如何影响BDT和ANN模型的分类准确率？
• RQ3 神经网络中的降维在多大程度上能保持分类性能的同时降低模型复杂度？
• RQ4 在症状数据存在噪声或不完整的情况下，BDT、ANN和WISER的相对鲁棒性如何？

主要发现

• ANN模型在5%、10%和15%扰动水平下的测试准确率范围为67%至21%。
• BDT模型在相同扰动水平下的测试准确率范围为65%至26%，性能略低于ANN。
• 在相同测试条件下，WISER系统的准确率范围为1.8%至0%，表明其对扰动的鲁棒性极差。
• 对ANN模型实施降维后，输入变量从79个减少至40个，分类性能损失极小，表明特征压缩效率高。
• 在所有扰动场景下，BDT和ANN均显著优于WISER，凸显了基于规则系统在现实世界噪声数据中的局限性。