[论文解读] Effect of a Process Mining based Pre-processing Step in Prediction of the Critical Health Outcomes

Negin Ashrafi, Armin Abdollahi+2 more|arXiv (Cornell University)|Jul 3, 2024

Business Process Modeling and AnalysisBusiness, Management and Accounting被引用 3

一句话总结

本研究提出一种基于流程挖掘的预处理步骤，采用连接算法以降低医疗事件日志的复杂性，从而提升流程模型质量与关键结局（如死亡率和再入院率）的预测准确性。该方法应用于16个MIMIC-III与伊利诺伊大学医院的数据集，使基于DREAM的预测中F-Measure（最高达0.95）、拟合度与AUC均得到提升，表明模型保真度与预测性能均有所改善。

ABSTRACT

Predicting critical health outcomes such as patient mortality and hospital readmission is essential for improving survivability. However, healthcare datasets have many concurrences that create complexities, leading to poor predictions. Consequently, pre-processing the data is crucial to improve its quality. In this study, we use an existing pre-processing algorithm, concatenation, to improve data quality by decreasing the complexity of datasets. Sixteen healthcare datasets were extracted from two databases - MIMIC III and University of Illinois Hospital - converted to the event logs, they were then fed into the concatenation algorithm. The pre-processed event logs were then fed to the Split Miner (SM) algorithm to produce a process model. Process model quality was evaluated before and after concatenation using the following metrics: fitness, precision, F-Measure, and complexity. The pre-processed event logs were also used as inputs to the Decay Replay Mining (DREAM) algorithm to predict critical outcomes. We compared predicted results before and after applying the concatenation algorithm using Area Under the Curve (AUC) and Confidence Intervals (CI). Results indicated that the concatenation algorithm improved the quality of the process models and predictions of the critical health outcomes.

研究动机与目标

• 为解决医疗事件日志中高数据复杂性对关键结局准确预测的阻碍问题。
• 评估使用连接算法进行预处理是否能提升从电子健康记录数据中提取的流程模型质量。
• 评估预处理对基于DREAM的模型在预测患者死亡率与医院再入院率方面的预测性能影响。
• 量化连接处理前后流程模型指标（拟合度、精确度、F-Measure与复杂性）的改进程度。
• 证明将流程挖掘技术整合到临床预测流程中的价值。

提出的方法

• 从MIMIC-III与伊利诺伊大学医院数据库中提取了16个医疗数据集，并将其转换为事件日志。
• 应用连接算法对事件日志进行预处理，通过合并相似序列并最小化并发性来降低复杂性。
• 使用Split Miner（SM）从原始与预处理后的事件日志中生成流程模型，以进行对比。
• 通过拟合度、精确度、F-Measure与复杂性等指标评估模型质量，以衡量结构保真度。
• 将预处理后的事件日志输入到衰减重放挖掘（DREAM）算法中，以预测关键健康结局。
• 使用曲线下面积（AUC）与95%置信区间（CI）衡量预测性能，并对比预处理前后的结果。

实验结果

研究问题

• RQ1 应用连接预处理算法是否能提升从医疗事件日志中提取的流程模型质量？
• RQ2 预处理在多大程度上降低了数据复杂性，并提升了流程模型的拟合度、精确度与F-Measure？
• RQ3 基于连接的预处理如何影响DREAM在预测患者死亡率与再入院率方面的预测性能？
• RQ4 模型质量与预测准确性的提升是否具有统计显著性，表现为AUC与置信区间的改善？
• RQ5 能否有效利用流程挖掘技术通过数据预处理增强临床预测系统？

主要发现

• 连接算法显著提升了流程模型质量，F-Measure最高达到0.95，拟合度亦达0.95（在表现最佳的案例中）。
• 预处理后精确度提升至0.85，表明模型与实际行为的对齐程度更高。
• 流程模型的复杂性降低，表明临床工作流程的表示更加简洁且易于理解。
• DREAM-based预测在预处理后AUC提升，表明在识别关键健康结局方面具有更强的判别能力。
• AUC值的95%置信区间证实了在多个数据集上性能提升的统计稳健性。
• 总体而言，连接预处理的整合显著提升了患者死亡率与医院再入院率预测的准确性与可靠性。