[論文レビュー] An AI model for Rapid and Accurate Identification of Chemical Agents in Mass Casualty Incidents

Nicholas Boltin, Daniel Vu+4 more|arXiv (Cornell University)|Dec 12, 2019

Disaster Response and Management参考文献 10被引用数 8

ひとこと要約

本研究では、WISERの症候データを用いて、大量死傷者事故における化学物質の迅速かつ正確な同定を目的としたAIモデルの評価を行った。バイナリ意思決定木（BDT）と人工ニューラルネットワーク（ANN）をWISERのルールベースシステムと比較したところ、摂動を加えたテストデータにおいて、ANNは67%、BDTは65%の正確度を達成し、緊急状況下における化学物質トリアージに機械学習を適用する可能性を示した。

ABSTRACT

In this report we examine the effectiveness of WISER in identification of a chemical culprit during a chemical based Mass Casualty Incident (MCI). We also evaluate and compare Binary Decision Tree (BDT) and Artificial Neural Networks (ANN) using the same experimental conditions as WISER. The reverse engineered set of Signs/Symptoms from the WISER application was used as the training set and 31,100 simulated patient records were used as the testing set. Three sets of simulated patient records were generated by 5%, 10% and 15% perturbation of the Signs/Symptoms of each chemical record. While all three methods achieved a 100% training accuracy, WISER, BDT and ANN produced performances in the range of: 1.8%-0%, 65%-26%, 67%-21% respectively. A preliminary investigation of dimensional reduction using ANN illustrated a dimensional collapse from 79 variables to 40 with little loss of classification performance.

研究の動機と目的

• 大量死傷者事故における化学物質の同定に関して、機械学習モデル（特にBDTおよびANN）とWISERシステムを比較してその性能を評価すること。
• 症状データに5%、10%、15%の摂動を加えた場合の、これらのモデルの耐性（ロバストネス）を評価すること。
• 分類精度を損なわせることなく効率を向上させるために、ニューラルネットワークにおける次元削減の検討。
• MLモデルが、WISERのようなルールベースシステムよりも、リアルタイムでの化学物質同定において優れているかどうかを特定すること。

提案手法

• 研究では、WISERアプリケーションの逆設計による症状と徴候のセットを、トレーニングデータセットとして使用した。
• 各化学物質の元の症状プロファイルに5%、10%、15%の摂動を加えることで、31,100件のシミュレート済み患者記録を生成した。
• バイナリ意思決定木（BDT）と人工ニューラルネットワーク（ANN）を、同一のトレーニングおよびテストセットを用いて、同じ条件下でトレーニングおよびテストした。
• モデルの性能と複雑さへの影響を評価するために、ANNモデルに次元削減を適用した。
• 異なる摂動レベルにおける分類正確度を用いて、性能を評価した。
• WISERシステムは、そのルールベースの論理を用いて物質同定を行う基準として用いられた。

実験結果

リサーチクエスチョン

• RQ1 BDT や ANN といった機械学習モデルは、患者の症状から化学物質を同定するという点で、WISER のルールベースシステムを上回ることができるか？
• RQ2 症状データの摂動が増加するにつれて、BDT や ANN モデルの分類正確度にどのような影響が生じるか？
• RQ3 ニューラルネットワークにおける次元削減は、分類性能をほとんど損なわせることなく、モデルの複雑さを低減できる程度までどの程度まで可能か？
• RQ4 ノイズ混じりまたは不完全な症状データの下で、BDT、ANN、WISER の相対的な耐性（ロバストネス）はどの程度か？

主な発見

• ANN モデルは、それぞれ5%、10%、15%の摂動レベルにおいて、テスト正確度が67%から21%の範囲で変動した。
• BDT モデルは、同じ摂動レベルにおいて、65%から26%のテスト正確度を示し、ANN よりわずかに低い性能を示した。
• 同じテスト条件下で、WISER システムの正確度は1.8%から0%の範囲にとどまり、摂動に対して極めて脆弱であることが示された。
• ANN モデルにおける次元削減により、入力変数が79から40に削減されたが、分類性能の低下は最小限に抑えられ、効率的な特徴圧縮が可能であることが示唆された。
• BDT および ANN は、すべての摂動シナリオにおいて WISER を著しく上回った。これは、実世界のノイズ混じりのデータにおいて、ルールベースシステムの限界が顕著であることを示している。