[논문 리뷰] Continuous State-Space Models for Optimal Sepsis Treatment - a Deep Reinforcement Learning Approach

Aniruddh Raghu, Matthieu Komorowski외 3명|arXiv (Cornell University)|2017. 05. 23.

Sepsis Diagnosis and Treatment참고 문헌 20인용 수 102

한 줄 요약

논문은 ICU 데이터로부터 최적의 패혈증 치료 정책을 학습하기 위해 연속상태 딥 강화학습 모델(dueling 및 autoencoder 잠재상태를 가진 DDQN)을 개발하여 잠재적 사망률 감소를 달성한다.

ABSTRACT

Sepsis is a leading cause of mortality in intensive care units (ICUs) and costs hospitals billions annually. Treating a septic patient is highly challenging, because individual patients respond very differently to medical interventions and there is no universally agreed-upon treatment for sepsis. Understanding more about a patient's physiological state at a given time could hold the key to effective treatment policies. In this work, we propose a new approach to deduce optimal treatment policies for septic patients by using continuous state-space models and deep reinforcement learning. Learning treatment policies over continuous spaces is important, because we retain more of the patient's physiological information. Our model is able to learn clinically interpretable treatment policies, similar in important aspects to the treatment policies of physicians. Evaluating our algorithm on past ICU patient data, we find that our model could reduce patient mortality in the hospital by up to 3.6% over observed clinical policies, from a baseline mortality of 13.7%. The learned treatment policies could be used to aid intensive care clinicians in medical decision making and improve the likelihood of patient survival.

연구 동기 및 목표

• 패혈증 치료가 왜 도전적이고 개인화된 정책이 필요한지 동기 부여한다.
• rich patient state 정보를 보존하기 위해 연속 상태 딥 RL을 제안한다.
• 잠재 표현을 가진 연속 상태 DDQN 기반 정책을 개발하고 비교한다.
• 학습된 정책을 ICU 데이터에 적용했을 때 잠재적 사망률 감소를 입증한다.
• 학습된 정책의 해석가능성 및 임상 관련성을 평가한다.

제안 방법

• 연속 상태와 이산화된 행동으로 구성된 오프 폴리시 RL 문제로 패혈증 치료를 모델링한다.
• 타깃 네트워크와 우선순위 경험 재생을 갖춘 Duelling Double Deep Q-Network (Dueling DDQN)을 사용한다.
• Q-네트워크의 입력으로 희소 오토인코더를 통한 보조 잠재 상태 표현을 도입한다.
• IV 유체 및 Vasopressor 용량에 대해 5x5 공간으로 행동을 이산화하고 Q*(s,a)를 학습한다.
• 정책 값을 추정하기 위해 Doubly Robust Off-policy Value Evaluation으로 오프 폴리시를 평가한다.
• 기준 이산화 모델, 일반 Q-N, Autoencoder Q-N 정책을 비교한다.

실험 결과

연구 질문

• RQ1 연속 상태 RL이 ICU 데이터에서 임상적으로 해석 가능한 패혈증 치료 정책을 학습할 수 있는가?
• RQ2 연속 상태 정책이 의사 정책에 비해 입원 사망률을 감소시키는가?
• RQ3 잠재 상태 표현이 정책 질 및 임상 해석가능성에 미치는 영향은 무엇인가?
• RQ4 학습된 정책이 Vasopressor 및 IV 유체 사용에서 의사 접근법과 어떻게 다른가?

주요 결과

• Autoencode 기반 정책이 가장 낮은 추정 사망률을 낳고 사망률을 최대 4%까지 감소시킬 수 있다.
• 시험 세트에서 의사 정책의 사망률은 보정과 일치하며 관찰된 사망률은 13.7%이다.
• Normal Q-N 정책은 기대 수익 및 사망률에서 의사 정책에 비해 중간 정도의 개선을 보여준다.
• Autoencode Q-N은 의사(9.87) 및 일반 Q-N(10.16)보다 더 높은 기대 수익(10.73)을 달성한다.
• 발견된 정책은 Vasopressor 사용을 절약하고 IV 유체를 중간 수준으로 유지하는 경향이 있어 임상적 주의와 일치한다.
• 오프폴리시 평가( Doubly Robust 방법 )를 사용하여 학습된 정책의 편향되지 않은 사망률 추정치를 제공한다.