[논문 리뷰] Robust Policies For Proactive ICU Transfers

Julien Grand-Clément, Carri W. Chan외 2명|arXiv (Cornell University)|2020. 02. 14.

Healthcare Operations and Scheduling Optimization참고 문헌 57인용 수 8

한 줄 요약

이 논문은 환자의 중증도 추정치의 매개변수 불확실성을 고려한 능동적 중환자실(ICU) 이송 정책을 위한 강건한 마르코프 결정과정(MDP) 프레임워크를 제안한다. 이는 명목상 정책과 강건 정책 모두가 임계값 구조를 가짐을 증명하며, 강건 정책은 더 공격적인 경향을 보여, 추정 오차 하에서 신뢰성 있는 성능을 확보하고 표본 수가 제한된 실생활 데이터에서 최악의 상황 성능 보장을 보장한다.

ABSTRACT

Patients whose transfer to the Intensive Care Unit (ICU) is unplanned are prone to higher mortality rates than those who were admitted directly to the ICU. Recent advances in machine learning to predict patient deterioration have introduced the possibility of \emph{proactive transfer} from the ward to the ICU. In this work, we study the problem of finding \emph{robust} patient transfer policies which account for uncertainty in statistical estimates due to data limitations when optimizing to improve overall patient care. We propose a Markov Decision Process model to capture the evolution of patient health, where the states represent a measure of patient severity. Under fairly general assumptions, we show that an optimal transfer policy has a threshold structure, i.e., that it transfers all patients above a certain severity level to the ICU (subject to available capacity). As model parameters are typically determined based on statistical estimations from real-world data, they are inherently subject to misspecification and estimation errors. We account for this parameter uncertainty by deriving a robust policy that optimizes the worst-case reward across all plausible values of the model parameters. We show that the robust policy also has a threshold structure under fairly general assumptions. Moreover, it is more aggressive in transferring patients than the optimal nominal policy, which does not take into account parameter uncertainty. We present computational experiments using a dataset of hospitalizations at 21 KNPC hospitals, and present empirical evidence of the sensitivity of various hospital metrics (mortality, length-of-stay, average ICU occupancy) to small changes in the parameters. Our work provides useful insights into the impact of parameter uncertainty on deriving simple policies for proactive ICU transfer that have strong empirical performance and theoretical guarantees.

연구 동기 및 목표

• 예측 가능한 중증도 점수를 활용하면서도 모델 매개변수의 불확실성을 고려하여 환자의 결과를 향상시키는 능동적 ICU 이송 정책을 개발하기 위해.
• 실생활 병원 데이터에서 유한 표본 추정 오차로 인한 과도한 낙관적 성능 추정 위험을 해결하기 위해.
• 명목상 및 강건 최적화 프레임워크 하에서 정책 구조(임계값 유형)에 대한 이론적 보장을 제공하기 위해.
• 중증도, 퇴원 기간, ICU 점유율과 같은 주요 병원 지표에 매개변수 불확실성이 미치는 영향을 평가하기 위해.
• 작은 매개변수 편차가 있을 경우에도 강건 정책이 명목 정책보다 최악의 상황에서 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 상태가 환자의 중증도 수준을 나타내고, 행동이 ICU 이송 또는 병동 모니터링인 단일 환자 마르코프 결정과정(MDP)을 수립한다.
• 실생활 데이터(300,000건의 KPNC 병원 입원 기록)에서 통계적 추정을 통해 중증도 상태 간 전이 확률을 校정한다.
• 추정된 매개변수 주변에 불확실성 집합을 정의하고, 가능한 모든 값에 대해 최악의 성능을 최적화함으로써 강건 최적화를 적용한다.
• 명목 최적 정책과 강건 최적 정책 모두가 임계값 기반임을 보여주는 구조적 성질를 도출한다 — 즉, 일정 중증도 수준 이상의 환자 전부를 이송한다.
• 중증도 점수 추정에 영향을 주는 공통된 기저 요인을 반영하기 위해 상관관계 고려 불확실성 모델링을 통합한다.
• 실병원 데이터를 활용한 계산 실험을 통해 사망률, 퇴원 기간, ICU 점유율 등의 지표에서 정책 성능을 비교한다.

실험 결과

연구 질문

• RQ1 중증도 점수 추정치의 매개변수 불확실성을 고려할 경우, ICU 이송 정책의 신뢰성이 향상되는가?
• RQ2 최적의 강건 이송 정책은 어떤 구조적 특성을 보이며, 명목 정책과 비교해 볼 때 어떻게 다른가?
• RQ3 사망률, 퇴원 기간, ICU 점유율과 같은 주요 병원 결과는 추정된 모델 매개변수의 미세한 변화에 얼마나 민감한가?
• RQ4 유한한 데이터셋에서 유도된 모델 매개변수로 인해 과도한 낙관적 성능 추정이 발생할 수 있는가를 방지하기 위해 강건 최적화가 가능한가?
• RQ5 매개변수 불확실성이 임계값 기반 이송 정책의 영향에 대한 신뢰할 수 없는 통찰을 초래하는 정도는 어느 정도인가?

주요 결과

• 최적의 강건 정책은 명목 정책과 마찬가지로 임계값 구조를 가지지만, 최악의 상황 성능을 확보하기 위해 더 공격적으로 환자를 이송한다.
• 심지어 작은 매개변수 편차도 명목 정책의 성능 저하를 초래할 수 있으며, 이는 과도한 낙관주의의 위험을 드러낸다.
• 실증적 시뮬레이션 결과, 매개변수 불확실성을 忽시할 경우 사망률 감소 및 ICU 점유율 통제에 대한 과도한 낙관적 추정이 발생할 수 있음을 보여준다.
• 서로 관련이 없는 또는 상관관계가 없는 매개변수의 불확실성은 정책 결과에 극단적인 변동을 초래할 수 있으며, 이는 기존 민감도 분석의 신뢰성을 떨어뜨린다.
• 강건 정책은 표준 신뢰구간 내의 다양한 실제 매개변수 값에서도 강력한 성능을 유지한다.
• 이 연구는 최악의 성능이 희귀한 사건이 아니며, 실질적인 추정 오차 범위 내에서 발생할 수 있음을 입증하며, 이는 강건성의 필요성을 설득력 있게 보여준다.