[논문 리뷰] Effect of a Process Mining based Pre-processing Step in Prediction of the Critical Health Outcomes

Negin Ashrafi, Armin Abdollahi외 2명|arXiv (Cornell University)|2024. 07. 03.

Business Process Modeling and AnalysisBusiness, Management and Accounting인용 수 3

한 줄 요약

이 연구는 병원 이벤트 로그의 복잡성을 줄이기 위해 프로세스 마이닝 기반의 사전 처리 단계를 제안하며, 연결 알고리즘을 사용하여 치명적인 결과(예: 사망, 재입원)의 프로세스 모델 품질과 예측 정확도를 향상시킨다. 16개의 MIMIC-III 및 일리inois 대학교 병원 데이터셋에 적용된 결과, DREAM 기반 예측에서 F-측정치(최대 0.95), 피트니스, AUC가 향상되어 모델의 정밀도와 예측 성능이 향상됨을 입증하였다.

ABSTRACT

Predicting critical health outcomes such as patient mortality and hospital readmission is essential for improving survivability. However, healthcare datasets have many concurrences that create complexities, leading to poor predictions. Consequently, pre-processing the data is crucial to improve its quality. In this study, we use an existing pre-processing algorithm, concatenation, to improve data quality by decreasing the complexity of datasets. Sixteen healthcare datasets were extracted from two databases - MIMIC III and University of Illinois Hospital - converted to the event logs, they were then fed into the concatenation algorithm. The pre-processed event logs were then fed to the Split Miner (SM) algorithm to produce a process model. Process model quality was evaluated before and after concatenation using the following metrics: fitness, precision, F-Measure, and complexity. The pre-processed event logs were also used as inputs to the Decay Replay Mining (DREAM) algorithm to predict critical outcomes. We compared predicted results before and after applying the concatenation algorithm using Area Under the Curve (AUC) and Confidence Intervals (CI). Results indicated that the concatenation algorithm improved the quality of the process models and predictions of the critical health outcomes.

연구 동기 및 목표

• 치명적인 결과 예측에 장애가 되는 높은 데이터 복잡성 문제를 해결하기 위해.
• 전자 건강 기록 데이터에서 파생된 프로세스 모델의 품질을 향상시키기 위해 연결 알고리즘을 사용한 사전 처리가 효과적인지 평가하기 위해.
• DREAM 기반 모델이 환자의 사망 및 병원 재입원을 예측하는 데 있어 사전 처리가 미치는 영향을 평가하기 위해.
• 연결 전후의 프로세스 모델 메트릭스—피트니스, 정밀도, F-측정치, 복잡성—의 향상을 정량화하기 위해.
• 프로세스 마이닝 기법을 임상 예측 파이프라인에 통합하여 가치를 입증하기 위해.

제안 방법

• MIMIC-III 및 일리inois 대학교 병원 데이터베이스에서 16개의 의료 데이터셋을 추출하여 이벤트 로그로 변환하였다.
• 유사한 시퀀스를 병합하고 동시성을 최소화함으로써 복잡성을 줄이기 위해 연결 알고리즘을 적용하여 이벤트 로그를 사전 처리하였다.
• 비교를 위해 원시 및 사전 처리된 이벤트 로그에서 Split Miner(SM)를 사용하여 프로세스 모델을 생성하였다.
• 모델 품질 평가를 위해 피트니스, 정밀도, F-측정치, 복잡성 메트릭스를 사용하여 구조적 정밀도를 평가하였다.
• 사전 처리된 이벤트 로그를 Decay Replay Mining(DREAM) 알고리즘에 입력하여 치명적인 건강 결과를 예측하였다.
• 예측 성능 평가를 위해 AUC(ROC 곡선 아래 면적) 및 95% 신뢰구간(CI)을 사용하여 사전 처리 전후 결과를 비교하였다.

실험 결과

연구 질문

• RQ1 연결 사전 처리 알고리즘을 적용함으로써 의료 이벤트 로그에서 파생된 프로세스 모델의 품질이 향상되는가?
• RQ2 사전 처리가 데이터 복잡성을 얼마나 줄이고, 피트니스, 정밀도, F-측정치에 어떤 영향을 미치는가?
• RQ3 연결 기반 사전 처리가 환자의 사망 및 재입원 예측에 있어 DREAM의 예측 성능에 어떤 영향을 미치는가?
• RQ4 AUC 및 신뢰구간을 통해 모델 품질 향상과 예측 정확도 향상의 통계적 유의성이 확인되는가?
• RQ5 프로세스 마이닝 기법을 데이터 사전 처리를 통해 임상 예측 시스템을 효과적으로 향상시키는 데 활용할 수 있는가?

주요 결과

• 연결 알고리즘이 프로세스 모델 품질을 크게 향상시켰으며, 최고 성능 사례에서 F-측정치는 0.95로 상승했고, 피트니스 역시 0.95에 도달하였다.
• 사전 처리 후 정밀도가 0.85로 향상되어 모델과 관찰된 행동 간의 일치도가 향상됨을 나타냈다.
• 프로세스 모델의 복잡성이 감소하여 임상 워크플로우를 더 간결하고 해석 가능한 방식으로 표현할 수 있게 되었다.
• DREAM 기반 예측에서 사전 처리 후 AUC가 향상되어 치명적인 건강 결과를 식별하는 데 있어 더 높은 분류 능력을 보였다.
• AUC 값의 95% 신뢰구간은 여러 데이터셋에서 성능 향상의 통계적 안정성을 확인하였다.
• 종합적으로 병합 사전 처리의 통합은 환자의 사망 및 병원 재입원 예측의 정확성과 신뢰도를 높였다.