[論文レビュー] A Self-Correcting Deep Learning Approach to Predict Acute Conditions in Critical Care

Ziyuan Pan, Hao Du+4 more|arXiv (Cornell University)|Jan 14, 2019

Machine Learning in Healthcare参考文献 19被引用数 9

ひとこと要約

本論文は、蓄積されたEHRデータを活用し、RNNの隠れ状態更新に誤差フィードバックを統合することで、ICU患者における急性腎障害（AKI）の早期予測を目的とした自己修正型ディープラーニングフレームワークを提案する。本手法は、ラベルと入力推定誤差の両方を考慮する画期的な正則化技術を用いることで性能を向上させ、MIMIC-IIIデータセットではAUC 0.893、eICUデータセットでは0.871を達成し、ベースラインモデルを上回った。

ABSTRACT

In critical care, intensivists are required to continuously monitor high dimensional vital signs and lab measurements to detect and diagnose acute patient conditions. This has always been a challenging task. In this study, we propose a novel self-correcting deep learning prediction approach to address this challenge. We focus on an example of the prediction of acute kidney injury (AKI). Compared with the existing models, our method has a number of distinct features: we utilized the accumulative data of patients in ICU; we developed a self-correcting mechanism that feeds errors from the previous predictions back into the network; we also proposed a regularization method that takes into account not only the model's prediction error on the label but also its estimation errors on the input data. This mechanism is applied in both regression and classification tasks. We compared the performance of our proposed method with the conventional deep learning models on two real-world clinical datasets and demonstrated that our proposed model constantly outperforms these baseline models. In particular, the proposed model achieved area under ROC curve at 0.893 on the MIMIC III dataset, and 0.871 on the Philips eICU dataset.

研究の動機と目的

• 動的で高次元のEHRデータを用いて、ICU環境における急性疾患（例：AKI）の早期検出の課題に取り組むこと。
• 従来のRNNが時間依存的で不規則にサンプリングされた蓄積的EHRデータを処理する際の制限を克服すること。
• 自身の誤りを学習することで時間経過とともに精度を向上させる自己修正メカニズムを構築すること。
• ラベル誤差と入力推定誤差の両方を考慮する正則化手法を導入し、モデルの分散を低減すること。
• 提案手法を実世界のICUデータセットに適用し、ベースラインのディープラーニングモデルと比較して一貫した性能向上を示すこと。

提案手法

• 隠れ状態の更新が、直前の隠れ状態と予測値と真のラベルの差（誤差）に依存する、変更を加えたRNNアーキテクチャを採用する。
• 予測誤差を再帰的に隠れ状態の更新にフィードバックすることで、自己修正メカニズムを実装し、時間経過とともに自身の誤りから学習できるようにする。
• 予測誤差に加え、将来の入力データの推定誤差に対してもペナルティを与える画期的な正則化手法を導入し、分散を低減する。
• 将来の誤差による勾配の流れを防ぐために、フィードバック経路にストップ・グラデント技術を適用し、安定した学習を確保する。
• マルチレイヤーGRUを用いて分類（AKI発症）および回帰タスクを実行し、クラスの不均衡に対処するための再重み付け損失、ドロップアウト、勾配クリッピングを適用する。
• 本フレームワークは、MIMIC-IIIおよびフィリップスeICUという2つの大規模ICUデータセットに適用され、受信者操作特性曲線下積分（AUC）を指標に性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 蓄積的EHRデータを用いた長期的EHRデータを用いたICU患者におけるAKI予測の正確性を、自己修正型ディープラーニングメカニズムが向上させられるか？
• RQ2 RNNの隠れ状態更新に蓄積された予測誤差を組み込むことで、時間経過に伴いモデル性能にどのような影響を与えるか？
• RQ3 ラベル誤差と入力推定誤差の両方を考慮する本手法の正則化法が、モデルの分散をどの程度低減させ、一般化性能を向上させるか？
• RQ4 フィードバック経路におけるストップ・グラデント技術が、自己修正モデルの学習安定性と予測性能を向上させるか？
• RQ5 本フレームワークは、AKIに限らず、他の急性疾患に対しても一般化可能か？

主な発見

• 自己修正型RNNに正則化を適用したモデルは、MIMIC-IIIデータセットで最高のAUC 0.893、eICUデータセットで0.871を達成し、すべてのベースラインモデルを上回った。
• 自己修正メカニズムにより性能が顕著に向上し、MIMIC-IIIではベースラインのマルチレイヤーGRU（AUC 0.743）と比較して15％の相対的向上（AUC 0.893）を達成した。
• 提案された正則化手法により、訓練セットとテストセットの性能ギャップが縮小され、分散が低く抑えられ、一般化性能が向上した。
• ストップ・グラデント技術は不可欠であった。この技術を削除すると、AUCは0.896から0.852に低下し、誤差フィードバックの安定化に果たす役割が裏付けられた。
• 本モデルは、両方のデータセットで一貫してベースラインモデルを上回り、堅牢性とスケーラビリティを示した。
• ソースコードは公開され、再現性と今後の研究を支援するものとなった。