[논문 리뷰] An AI model for Rapid and Accurate Identification of Chemical Agents in Mass Casualty Incidents

Nicholas Boltin, Daniel Vu외 4명|arXiv (Cornell University)|2019. 12. 12.

Disaster Response and Management참고 문헌 10인용 수 8

한 줄 요약

이 연구는 WISER의 증상 데이터를 사용하여 다수 피해 사고에서 화학 물질를 신속하고 정확하게 식별하기 위한 AI 모델을 평가한다. 이는 이진 결정 트리(BDT)와 인공 신경망(ANN)을 WISER의 규칙 기반 시스템과 비교하여 수행되었으며, 변형된 테스트 데이터에서 ANN은 67%, BDT는 65%의 정확도를 기록하여 기계 학습이 응급 상황에서 화학 물질 선별에 가능하다는 것을 입증한다.

ABSTRACT

In this report we examine the effectiveness of WISER in identification of a chemical culprit during a chemical based Mass Casualty Incident (MCI). We also evaluate and compare Binary Decision Tree (BDT) and Artificial Neural Networks (ANN) using the same experimental conditions as WISER. The reverse engineered set of Signs/Symptoms from the WISER application was used as the training set and 31,100 simulated patient records were used as the testing set. Three sets of simulated patient records were generated by 5%, 10% and 15% perturbation of the Signs/Symptoms of each chemical record. While all three methods achieved a 100% training accuracy, WISER, BDT and ANN produced performances in the range of: 1.8%-0%, 65%-26%, 67%-21% respectively. A preliminary investigation of dimensional reduction using ANN illustrated a dimensional collapse from 79 variables to 40 with little loss of classification performance.

연구 동기 및 목표

• 기계 학습 모델—특히 BDT와 ANN—이 다수 피해 사고 동안 화학 물질를 식별하는 데서 WISER 시스템과 비교하여 성능을 평가하는 것.
• 증상 데이터의 흐린 정도가 5%, 10%, 15%로 변화하는 상황에서 이러한 모델의 강건성(내성)을 평가하는 것.
• 정확도를 유지하면서 효율성을 높이기 위해 신경망의 차원 축소를 조사하는 것.
• 기계 학습 모델이 실시간 화학 물질 식별에서 WISER와 같은 규칙 기반 시스템을 능가할 수 있는지 확인하는 것.

제안 방법

• 연구는 WISER 애플리케이션의 역공학적 신호 및 증상 세트를 학습 데이터셋으로 사용하였다.
• 각 화학 물질의 원래 증상 프로파일에 5%, 10%, 15%의 흐림을 도입하여 총 31,100건의 시뮬레이션 환자 기록을 생성하였다.
• 이상적인 조건에서 동일한 학습 및 테스트 세트를 사용하여 이진 결정 트리(BDT)와 인공 신경망(ANN)을 학습하고 테스트하였다.
• 모델 성능과 복잡도에 미치는 영향을 평가하기 위해 ANN 모델에 차원 축소를 적용하였다.
• 다양한 흐림 수준에서 분류 정확도를 사용하여 성능을 평가하였다.
• 비교 기준으로 WISER 시스템의 규칙 기반 논리에 기반한 물질 식별을 사용하였다.

실험 결과

연구 질문

• RQ1 BDT와 ANN과 같은 기계 학습 모델이 환자 증상에서 WISER의 규칙 기반 시스템보다 화학 물질를 더 잘 식별할 수 있는가?
• RQ2 증상 데이터의 흐림 정도가 증가할수록 BDT와 ANN 모델의 분류 정확도에 어떤 영향을 미치는가?
• RQ3 신경망의 차원 축소를 통해 얼마나 효율적으로 특징 압축을 달성하면서도 분류 성능를 유지할 수 있는가?
• RQ4 노이즈가 있거나 데이터가 불완전한 증상 데이터 상황에서 BDT, ANN, WISER의 상대적 강건성은 어떠한가?

주요 결과

• ANN 모델은 각각 5%, 10%, 15%의 흐림 수준에서 테스트 정확도 범위가 67%에서 21%로 변동하였다.
• BDT 모델은 동일한 흐림 수준에서 테스트 정확도 범위가 65%에서 26%로 나타나 ANN보다 略적으로 낮은 성능를 보였다.
• WISER 시스템은 동일한 테스트 조건에서 정확도가 1.8%에서 0%로 나타나 흐림에 매우 취약함을 보여, 강건성이 떨어짐을 시사한다.
• ANN 모델의 차원 축소로 입력 변수 수가 79개에서 40개로 감소되었으며, 분류 성능 손실는 최소 수준이었고, 이는 효율적인 특징 압축을 의미한다.
• BDT와 ANN은 모두 모든 흐림 상황에서 WISER를 뚜렷이 뛰어넘었으며, 실세계의 노이즈가 많은 데이터에서 규칙 기반 시스템의 한계를 드러냈다.