[논문 리뷰] Model-Based Reinforcement Learning for Sepsis Treatment

Aniruddh Raghu, Matthieu Komorowski외 1명|arXiv (Cornell University)|2018. 11. 23.

Sepsis Diagnosis and Treatment참고 문헌 15인용 수 29

한 줄 요약

이 논문은 MIMIC-III의 ICU 데이터를 활용하여 연속적인 상태공간 모델 기반 강화학습 접근법을 제안하여 개선된 패혈성 쇼크 치료 정책을 발견한다. 특히 중등도 SOFA 범위에서 임상의가 도출한 정책과 RL이 학습한 정책을 융합함으로써 현재 임상 실무보다 높은 추정 치료 가치를 달성하며, 더 안전하고 데이터 기반의 패혈성 쇼크 관리 가능성을 보여준다.

ABSTRACT

Sepsis is a dangerous condition that is a leading cause of patient mortality. Treating sepsis is highly challenging, because individual patients respond very differently to medical interventions and there is no universally agreed-upon treatment for sepsis. In this work, we explore the use of continuous state-space model-based reinforcement learning (RL) to discover high-quality treatment policies for sepsis patients. Our quantitative evaluation reveals that by blending the treatment strategy discovered with RL with what clinicians follow, we can obtain improved policies, potentially allowing for better medical treatment for sepsis.

연구 동기 및 목표

• 관찰된 ICU 데이터에서 연속적인 생리학적 상태 동역학을 활용하는 모델 기반 강화학습 프레임워크를 개발하여 패혈성 쇼크 치료에 응용한다.
• 관찰 기반 ICU 데이터에서 고품질의 치료 정책을 학습함으로써 패혈성 쇼크 치료의 임상적 의사결정 지원을 향상시킨다.
• 임상의 행동과 RL이 학습한 정책을 융합했을 때, 단순히 임상의 정책을 따르는 것보다 더 나은 치료 결과를 얻을 수 있는지 평가한다.
• 분포 이탈과 모델 불확실성을 고려하여 오프-폴리시 평가 방법을 사용해 정책 성능을 정량화한다.
• 특히 고/저 정도의 중증도에서 모델 신뢰도가 낮기 때문에 임상의 정책을 우선시하는 등, 상황에 맞는 정책 융합 전략을 특정 범위에서 규명한다.

제안 방법

• 현재 및 과거 3단계의 상태-행동 쌍을 조건으로 하여, 신경망을 사용해 상태 전이 동역학을 모델링하고, 상태 변화 Δt = st+1 − st 를 예측한다.
• 예측 분포의 전반적인 추정을 가능하게 하기 위해 베이지안 신경망(BNN)을 사용하여 불확실성 정량화를 수행한다.
• 198차원 상태 벡터(이전 3단계의 생리학적 데이터를 연결한 것)를 사용해 Adam 최적화 기반으로 환경 모델을 훈련한다.
• 행동 복제(Behavioral Cloning)를 통해 임상의 행동에서 초기화된 Proximal Policy Optimization(PPO)를 사용해 치료 정책을 학습한다.
• PHWIS, PHWDR, AM 추정기법을 사용해 오프-폴리시 평가를 수행하며, k-최근접 이웃(k=250) 모델을 사용해 임상의의 행동 정책을 근사한다.
• 정책 융합 전략을 구현하기 위해, 모델 불확실성이 높은 저·고 SOFA 중증도 영역에서는 임상의 정책을 선택하고, 중등도 중증도에서는 RL 정책을 선택한다.

실험 결과

연구 질문

• RQ1 관찰 기반 ICU 데이터에서 연속적인 상태공간 모델 기반 강화학습이 개선된 패혈성 쇼크 치료 정책을 발견할 수 있는가?
• RQ2 오프-폴리시 추정기법을 사용해 평가했을 때, RL이 학습한 정책의 성능은 현재 임상 실무보다 어떻게 비교되는가?
• RQ3 SOFA 점수 기반 중증도 영역에서 임상의 정책과 RL 정책을 융합했을 때 기대 수익이 가장 높은 영역은 어디인가?
• RQ4 고·저 중증도 영역에서 모델의 불확실성이 높기 때문에, RL 정책에 의존하기보다는 임상의 정책을 따르는 것이 타당한가?
• RQ5 다양한 오프-폴리시 평가 추정기법(PHWIS, PHWDR, AM) 간에 정책 가치 순위에 대해 어느 정도 일치하는가?

주요 결과

• 저·고 SOFA 영역에서는 임상의 정책, 중등도 SOFA 영역에서는 PPO로 학습한 정책을 사용한 최고 성능 정책은 PHWDR 추정기법을 사용해 12.8의 추정 가치를 달성했다.
• PHWIS 및 PHWDR 추정기법 모두, 정책 융합 전략이 임상의 정책을 단독으로 따르는 것보다 더 높은 기대 수익을 제공함을 시사한다(기준 값: 9.90).
• AM 추정기법은 정책 간 차이를 거의 구분하지 못해, 이 설정에서는 정책 차이에 민감도가 낮을 수 있음을 시사한다.
• 중등도 SOFA 영역에서는 RL이 학습한 정책가 임상의 정책를 초월하여 성능을 냈으며, 이는 모델 기반 RL이 임상 행동의 변동성이 높은 영역에서 더 나은 전략을 식별할 수 있음을 보여준다.
• 고·저 중증도 영역에서는 환경 모델의 예측 정확도가 높은 잡음과 낮은 신호로 인해 낮기 때문에, 임상의 정책에 의존함으로써 성능 추정치가 향상되었다.
• 결과적으로, 모델 기반 RL은 치료 결정이 가장 모호한 중간 정도의 중증도 영역에서 최적의 행동을 식별함으로써 임상 전문 지식을 보완할 수 있음을 시사한다.