[論文レビュー] Robust Policies For Proactive ICU Transfers

Julien Grand-Clément, Carri W. Chan+2 more|arXiv (Cornell University)|Feb 14, 2020

Healthcare Operations and Scheduling Optimization参考文献 57被引用数 8

ひとこと要約

本稿では、患者の重症度推定におけるパrameterの不確実性を考慮した、予防的ICU移転ポリシーのための頑健なマルコフ決定過程（MDP）フレームワークを提案する。nominal（名目）および頑健なポリシーの両方が閾値構造を示すことを証明しており、頑健なポリシーはより積極的である。これは推定誤差下でも信頼性を高め、限られたサンプルサイズの現実データにおいても最悪ケース性能保証を可能にする。

ABSTRACT

Patients whose transfer to the Intensive Care Unit (ICU) is unplanned are prone to higher mortality rates than those who were admitted directly to the ICU. Recent advances in machine learning to predict patient deterioration have introduced the possibility of \emph{proactive transfer} from the ward to the ICU. In this work, we study the problem of finding \emph{robust} patient transfer policies which account for uncertainty in statistical estimates due to data limitations when optimizing to improve overall patient care. We propose a Markov Decision Process model to capture the evolution of patient health, where the states represent a measure of patient severity. Under fairly general assumptions, we show that an optimal transfer policy has a threshold structure, i.e., that it transfers all patients above a certain severity level to the ICU (subject to available capacity). As model parameters are typically determined based on statistical estimations from real-world data, they are inherently subject to misspecification and estimation errors. We account for this parameter uncertainty by deriving a robust policy that optimizes the worst-case reward across all plausible values of the model parameters. We show that the robust policy also has a threshold structure under fairly general assumptions. Moreover, it is more aggressive in transferring patients than the optimal nominal policy, which does not take into account parameter uncertainty. We present computational experiments using a dataset of hospitalizations at 21 KNPC hospitals, and present empirical evidence of the sensitivity of various hospital metrics (mortality, length-of-stay, average ICU occupancy) to small changes in the parameters. Our work provides useful insights into the impact of parameter uncertainty on deriving simple policies for proactive ICU transfer that have strong empirical performance and theoretical guarantees.

研究の動機と目的

• 予測重症度スコアを活用して患者の予後を改善する予防的ICU移転ポリシーを構築するが、同時にモデルパラメータの不確実性を考慮する。
• 現実の病院データにおける有限サンプル推定誤差に起因するポリシー性能の過剰な楽観的見積もりのリスクに対処する。
• 名目およびロバスト最適化フレームワーク下でのポリシー構造（閾値型）に関する理論的保証を提供する。
• 死亡率、滞在日数、ICU利用率といった主要な病院指標に、パラメータの不確実性が与える影響を評価する。
• 小さなパrameterのずれに対しても、ロバストポリシーが名目ポリシーを上回ることを示す。これは最悪ケースシナリオにおいても有効である。

提案手法

• 状態が患者の重症度レベルを表す単一患者向けマルコフ決定過程（MDP）を定式化し、行動はICU移転または病棟モニタリングである。
• 実世界のデータ（KPNCの30万件の入院記録）からの統計的推定を用いて、重症度状態間の遷移確率をキャリブレーションする。
• パラメータ推定値の周囲に不確実性集合を定義し、すべての妥当な値における最悪ケース性能を最適化することでロバスト最適化を適用する。
• 最適な名目およびロバストポリシーの両方が閾値型であることを示す構造的性質を導出する—特定の重症度レベル以上は全患者を移転する。
• 重症度スコア推定に影響を与える共通の潜在要因を反映する相関を考慮した不確実性モデリングを統合する。
• 実病院データを用いた計算実験により、死亡率、LOS、ICU利用率などの指標におけるポリシー性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 重症度スコア推定におけるパラメータの不確実性を考慮することで、より信頼性の高いICU移転ポリシーが得られるか？
• RQ2 最適なロバスト移転ポリシーはどのような構造的性質を示し、名目ポリシーと比べてどのように異なるか？
• RQ3 死亡率、滞在日数、ICU利用率といった主要な病院アウトカムは、推定モデルパラメータのわずかなずれに対してどれほど感度を示すか？
• RQ4 有限データセットから得たモデルパラメータを用いた場合、ロバスト最適化は過剰な楽観的見積もりを防げるか？
• RQ5 パラメータの不確実性が、閾値型移転ポリシーの影響に関する信頼性のないインサイトを生じる程度はどの程度か？

主な発見

• 最適なロバストポリシーは、名目ポリシーと同様に閾値構造を示すが、最悪ケース性能を保証するためにより積極的に患者を移転する。
• 推定パラメータからのわずかなずれですら、名目ポリシーの性能を著しく悪化させる可能性があり、楽観的見積もりのリスクを浮き彫りにする。
• 実証的シミュレーションでは、パラメータの不確実性を無視すると、死亡率の低減やICU利用率の制御に関する過剰な楽観的見積もりに至る可能性がある。
• パラメータの無関係または相関のない不確実性は、ポリシーのアウトカムに極端な変動を引き起こし、標準的な感度分析の信頼性を損なう。
• ロバストポリシーは、標準信頼区間内に含まれるあらゆる妥当なパラメータ値に対しても強く性能を維持する。
• 本研究では、最悪ケース性能がまれな出来事ではないことが示された—推定誤差の妥当な範囲内にまで到達可能であり、ロバストネスは設計上の必須原則である。