[논문 리뷰] Identifying Distinct, Effective Treatments for Acute Hypotension with SODA-RL: Safely Optimized Diverse Accurate Reinforcement Learning

Joseph Futoma, Muhammad Adnan Masood외 1명|PubMed|2020. 01. 09.

Sepsis Diagnosis and Treatment참고 문헌 32인용 수 4

한 줄 요약

이 논문은 관찰 기반 ICU 데이터에서 다양한, 안전하고 정확한 급성 저혈압 치료 정책을 식별하는 강화학습 프레임워크인 SODA-RL을 제안한다. 안전성, 다양성, 정확성을 최적화함으로써 SODA-RL은 의료진의 성능과 유사한 동시에 임상적으로 타당한 대안을 제공하는 여러 개별적인 임상 전략(예: 다양한 체액 및 혈관수축제 복용법)을 학습한다.

ABSTRACT

Hypotension in critical care settings is a life-threatening emergency that must be recognized and treated early. While fluid bolus therapy and vasopressors are common treatments, it is often unclear which interventions to give, in what amounts, and for how long. Observational data in the form of electronic health records can provide a source for helping inform these choices from past events, but often it is not possible to identify a single best strategy from observational data alone. In such situations, we argue it is important to expose the collection of plausible options to a provider. To this end, we develop SODA-RL: Safely Optimized, Diverse, and Accurate Reinforcement Learning, to identify distinct treatment options that are supported in the data. We demonstrate SODA-RL on a cohort of 10,142 ICU stays where hypotension presented. Our learned policies perform comparably to the observed physician behaviors, while providing different, plausible alternatives for treatment decisions.

연구 동기 및 목표

• 관찰 데이터에서 단일 최적 정책을 신뢰할 만하게 식별할 수 없는 ICU 환경에서 급성 저혈압에 대한 다수의 타당하고 효과적인 치료 전략을 식별하는 데 도전하는 것.
• 학습된 정책가 안전하고, 다양하며 현재 임상 실천과 유사하도록 보장하는 강화학습 프레임워크를 개발하는 것.
• 실제 임상적 변동성을 반영하고 개인화된 의사결정을 지원할 수 있는, 명확히 구분되는 데이터 기반 치료 옵션 세트를 제공하는 것.
• 기존 강화학습의 한계를 극복하기 위해 단일 최적 정책이 아닌, 고품질의 타당한 정책 집합에 초점을 맞추는 것.
• 관찰된 치료 패턴을 기반으로 한, 서로 다른 정책을 식별함으로써 실질적인 임상 통찰을 도출하는 것.

제안 방법

• SODA-RL은 안전성, 다양성, 정확성을 동시에 최적화하는 제약 조건이 부여된 정책 최적화 목표를 사용하는 다중 에이전트 강화학습 프레임워크이다.
• 생리적 안정성 향상과 결과 개선을 촉진하는 보상 함수를 사용하며, 위험하거나 비생리적인 행동에 대해 벌점을 적용한다.
• 다양성은 국소적 및 전역적 다양성 손실을 통해 강화되어, 서로 다른 임상 상태에서 정책가 서로 다른 행동 선택을 하도록 보장한다.
• 안전성은 정책가 관찰된 의료진 행동의 신뢰구간(ε = 0.03) 내에 머무르도록 제약하여 현재 실천과의 일치를 확보한다.
• 정확성 항목에서 대칭 KL 발산(symKL) 손실을 사용하여 정책가 관찰된 행동 분포와 유사하도록 보장한다.
• 상태 특징은 생체 징후와 검사값에서 유도된 마르코프 결정 과정(MDP) 설정을 사용하여 10,142건의 저혈압 입원 환자 코hort에서 정책을 학습한다.

실험 결과

연구 질문

• RQ1 관찰 기반 EHR 데이터에서 강화학습 프레임워크가 급성 저혈압에 대해 다수의 구분 가능한, 안전하고 효과적인 치료 정책을 식별할 수 있는가?
• RQ2 안전성, 다양성, 정확성의 각 구성 요소가 학습된 정책의 품질과 임상적 관련성에 어떻게 기여하는가?
• RQ3 학습된 정책가 현재 실천에서 관찰된 실제 임상적 의미 있는 치료 변동성을 반영하는가?
• RQ4 단일 최적 정책을 식별할 수 없는 상황에서도, 서로 구분되며 데이터에 의해 지지되는 타당한 치료 대안 세트를 생성할 수 있는가?
• RQ5 성능 및 행동 선택 패턴 측면에서 학습된 정책는 실제 의료진 행동과 어떻게 비교되는가?

주요 결과

• SODA-RL은 10,142명의 ICU 환자 코hort에서 관찰된 의료진 행동과 유사한 추정 성능을 달성한 세 개의 구분 가능한 치료 정책을 성공적으로 학습하였다.
• 세 정책는 의미 있는 국소적 및 전역적 다양성을 보였으며, 하나는 고용량 혈관수축제와 체액 투여를 우선시하고, 다른 하나는 저용량 혈관수축제를 강조하며, 세 번째는 다양한 체액 투여량과 중간 용량 혈관수축제에 초점을 맞추었다.
• 정성적 분석을 통해 각 정책가 특정 상태에서 서로 다른 임상적으로 타당한 행동 조합에 높은 확률을 할당함으로써 실제 임상적 변동성을 반영하고 있음을 확인하였다.
• 절단 실험 결과, 안전성, 다양성, 정확성의 세 구성 요소가 모두 필요했으며, 어느 하나라도 제거할 경우 정책 품질 또는 다양성이 악화됨을 확인하였다.
• 고유산소, 저MAP 상태를 포함한 다양한 생리적 상태에서 정책가 강건성을 보였으며, 불안정한 환자군에서는 서로 다른 행동 분포가 관찰되었다.
• 정확성 항목에서 사용된 symKL 손실은 관찰된 임상 행동에 대한 충실도를 유지하면서도 다양성과 안전성을 동시에 확보하는 데 핵심적인 역할을 하였다.