[논문 리뷰] Offline reinforcement learning with uncertainty for treatment strategies in sepsis

Ran Liu, Joseph L. Greenstein외 4명|arXiv (Cornell University)|2021. 07. 09.

Sepsis Diagnosis and Treatment참고 문헌 44인용 수 5

한 줄 요약

이 논문은 후행적 전자 의무기록 데이터에서 개인화된 패혈증 치료 전략을 유도하기 위해 불확실성 추정을 통합한 오프라인 강화학습 프레임워크를 제안한다. 치명률과 치료 강도 간의 혼동 요인으로 인한 과소 치료 경향을 완화함으로써, 높은 신뢰도를 가진 다수의 치료 옵션을 생성하여 중환자 치료 의사결정의 정확성과 개인화를 향상시킨다.

ABSTRACT

Guideline-based treatment for sepsis and septic shock is difficult because sepsis is a disparate range of life-threatening organ dysfunctions whose pathophysiology is not fully understood. Early intervention in sepsis is crucial for patient outcome, yet those interventions have adverse effects and are frequently overadministered. Greater personalization is necessary, as no single action is suitable for all patients. We present a novel application of reinforcement learning in which we identify optimal recommendations for sepsis treatment from data, estimate their confidence level, and identify treatment options infrequently observed in training data. Rather than a single recommendation, our method can present several treatment options. We examine learned policies and discover that reinforcement learning is biased against aggressive intervention due to the confounding relationship between mortality and level of treatment received. We mitigate this bias using subspace learning, and develop methodology that can yield more accurate learning policies across healthcare applications.

연구 동기 및 목표

• 패혈증의 병태생리적 이질성과 복잡성으로 인한 개인화된 패혈증 치료의 과제를 해결하기 위해.
• 개별 환자에 대한 적합성이 떨어지는 지침 기반 프로토콜이 과잉 치료 또는 과소 치료를 초래하는 한계를 극복하기 위해.
• 온라인 상호작용 없이도 안전하고 확장 가능한 방식으로 이력 EHR 데이터로부터 학습하는 강화학습 프레임워크를 개발하기 위해.
• 희귀 또는 고위험 상황을 식별하고 임상적 신뢰도를 향상시키기 위해 치료 제안의 불확실성을 추정하기 위해.
• 관찰 데이터에서 치료 강도와 치명률 간의 혼동 요인으로 인해 더 적극적인 치료를 선호하지 않는 학습된 정책의 편향을 완화하기 위해.

제안 방법

• 후행적 패혈증 환자 EHR 데이터로부터 최적의 치료 정책을 학습하기 위해 오프라인 강화학습을 적용한다.
• 낮은 신뢰도 또는 희귀한 치료 시나리오를 식별하기 위해 Q-값 예측에 불확실성 추정을 통합한다.
• 상태-행동 공간을 분해하여 치명률-치료 강도 상관관계와 같은 혼동 요인으로 인한 편향을 감소시키기 위해 하위공간 학습을 사용한다.
• 불확실성 예측을 모델링하기 위해 분포 출력을 갖는 딥 Q-네트워크를 훈련한다.
• 단일 결정론적 행동이 아닌 환자당 다수의 치료 제안을 생성하여 임상적 융통성을 향상시킨다.
• 신뢰도 기준을 적용하여 낮은 신뢰도의 제안을 걸러내어 안전성과 해석 가능성 향상

실험 결과

연구 질문

• RQ1 오프라인 강화학습은 최소한의 온라인 상호작용으로 후행적 EHR 데이터에서 신뢰할 수 있는 패혈증 치료 정책을 학습하는 데 어떻게 적응될 수 있는가?
• RQ2 치료 강도와 치명률 간의 혼동이 강화학습 정책이 과소 치료 경향을 보이도록 얼마나 영향을 미치는가?
• RQ3 불확실성 추정은 패혈증에서 RL 기반 치료 제안의 신뢰성과 임상적 해석 가능성에 어떻게 기여하는가?
• RQ4 복잡하고 고차원적인 임상 데이터에 적용했을 때, 하위공간 학습은 오프라인 RL에서 편향을 얼마나 효과적으로 감소시키는가?
• RQ5 이 프레임워크는 패혈증 관리의 개인화된 의사결정을 지원하기 위해 다수의 고신뢰도 치료 옵션을 생성할 수 있는가?

주요 결과

• 후행적 데이터에서 학습된 강화학습 정책은 학습 데이터에서 높은 치료 강도와 증가한 치명률 간의 혼동 관계로 인해 과소 치료 경향을 보였다.
• 하위공간 학습은 이 편향을 크게 감소시켜 더 정확하고 임상적으로 타당한 치료 정책을 도출했다.
• 불확실성 추정은 희귀하거나 고위험 치료 시나리오를 성공적으로 식별하여 낮은 신뢰도의 제안을 경고할 수 있도록 시스템을 가능케 했다.
• 이 방법은 환자당 다수의 치료 옵션을 생성하여 단일 행동 정책에 비해 임상적 융통성과 개인화를 향상시켰다.
• 최종 정책는 특히 고위험도 패혈증 환자에서 더 우수한 일반화 성능을 보였다.
• 표준 지침이 실패하기 쉬운 복합 공존질환을 가진 환자에게서 이 프레임워크는 더 높은 신뢰도의 제안을 달성했다.