[論文レビュー] Effect of a Process Mining based Pre-processing Step in Prediction of the Critical Health Outcomes

Negin Ashrafi, Armin Abdollahi+2 more|arXiv (Cornell University)|Jul 3, 2024

Business Process Modeling and AnalysisBusiness, Management and Accounting被引用数 3

ひとこと要約

本研究では、医療イベントログの複雑さを低減するため、連結アルゴリズムを用いたプロセスマイニングベースの事前処理手順を提案する。これにより、死亡や再入院といった重要な結果のプロセスモデル品質と予測精度が向上する。16件のMIMIC-IIIおよびUniversity of Illinois Hospitalデータセットに適用された結果、DREAMベースの予測においてF-Measure（最大0.95）、フィットネス、AUCが向上し、モデルの忠実性と予測性能が向上したことが示された。

ABSTRACT

Predicting critical health outcomes such as patient mortality and hospital readmission is essential for improving survivability. However, healthcare datasets have many concurrences that create complexities, leading to poor predictions. Consequently, pre-processing the data is crucial to improve its quality. In this study, we use an existing pre-processing algorithm, concatenation, to improve data quality by decreasing the complexity of datasets. Sixteen healthcare datasets were extracted from two databases - MIMIC III and University of Illinois Hospital - converted to the event logs, they were then fed into the concatenation algorithm. The pre-processed event logs were then fed to the Split Miner (SM) algorithm to produce a process model. Process model quality was evaluated before and after concatenation using the following metrics: fitness, precision, F-Measure, and complexity. The pre-processed event logs were also used as inputs to the Decay Replay Mining (DREAM) algorithm to predict critical outcomes. We compared predicted results before and after applying the concatenation algorithm using Area Under the Curve (AUC) and Confidence Intervals (CI). Results indicated that the concatenation algorithm improved the quality of the process models and predictions of the critical health outcomes.

研究の動機と目的

• 臨床的結果の正確な予測を妨げる医療イベントログにおける高いデータ複雑性に対処すること。
• 電子カルテデータから導出されるプロセスモデルの品質が、連結アルゴリズムを用いた事前処理によって向上するかどうかを評価すること。
• DREAMベースのモデルにおける患者の死亡および病院再入院予測性能に、事前処理が与える影響を評価すること。
• 連結処理の前後におけるプロセスモデル指標（フィットネス、精度、F-Measure、複雑性）の改善を定量化すること。
• プロセスマイニング技術を臨床予測パイプラインに統合することで、その価値を実証すること。

提案手法

• MIMIC-IIIおよびUniversity of Illinois Hospitalデータベースから16件の医療データセットを抽出し、イベントログに変換した。
• 類似したシーケンスの統合と並列処理の最小化により、複雑さを低減するため、連結アルゴリズムを用いてイベントログを事前処理した。
• 両方のイベントログ（元データおよび事前処理済みデータ）からプロセスモデルを生成するためにSplit Miner（SM）を用い、比較を行った。
• 構造的忠実性を評価するため、フィットネス、精度、F-Measure、複雑性の指標を用いてモデル品質を評価した。
• 事前処理済みイベントログをDecay Replay Mining（DREAM）アルゴリズムに入力し、重要な健康結果を予測した。
• 予測性能は、AUC（受診者操作特性曲線下の面積）および95%信頼区間（CI）を用いて測定し、事前処理の前後で比較した。

実験結果

リサーチクエスチョン

• RQ1 連結事前処理アルゴリズムを適用することで、医療イベントログから導出されるプロセスモデルの品質が向上するか？
• RQ2 事前処理によってデータ複雑性はどの程度低減され、フィットネス、精度、F-Measureは向上するか？
• RQ3 連結に基づく事前処理は、患者の死亡および再入院を予測するDREAMの予測性能にどのように影響するか？
• RQ4 AUCおよび信頼区間によって示されるように、モデル品質および予測精度の向上は統計的に有意であるか？
• RQ5 プロセスマイニング技術は、データ事前処理を通じて、臨床予測システムを効果的に強化するために活用可能か？

主な発見

• 連結アルゴリズムにより、プロセスモデルの品質が顕著に向上し、F-Measureは最大0.95に達し、最良のケースでフィットネスも0.95に達した。
• 事前処理後、精度は0.85に向上し、モデルと観察された行動との整合性が高まった。
• プロセスモデルの複雑性が低減され、臨床ワークフローのより簡潔で解釈可能な表現が得られた。
• DREAMベースの予測において、事前処理後、AUCが向上し、重要な健康結果を識別する能力が向上した。
• AUC値の95%信頼区間は、複数のデータセットにわたり、性能向上が統計的に堅牢であることを確認した。
• 全体として、連結事前処理の統合により、患者の死亡および病院再入院の予測がより正確かつ信頼性の高いものとなった。