[논문 리뷰] A Reinforcement Learning Approach to Weaning of Mechanical Ventilation in Intensive Care Units

Niranjani Prasad, Li Cheng외 3명|arXiv (Cornell University)|2017. 04. 20.

Intensive Care Unit Cognitive Disorders참고 문헌 14인용 수 111

한 줄 요약

본 논문은 ICU에서 기계적 환기 및 진정에서의 점진적 중단을 안내하기 위한 데이터 기반의 off-policy 강화 학습 프레임워크를 제시하며, 과거 MIMIC-III 데이터를 사용해 재삽관 감소와 활력 징후 안정을 목표로 하는 환자 맞춤 정책을 학습한다.

ABSTRACT

The management of invasive mechanical ventilation, and the regulation of sedation and analgesia during ventilation, constitutes a major part of the care of patients admitted to intensive care units. Both prolonged dependence on mechanical ventilation and premature extubation are associated with increased risk of complications and higher hospital costs, but clinical opinion on the best protocol for weaning patients off of a ventilator varies. This work aims to develop a decision support tool that uses available patient information to predict time-to-extubation readiness and to recommend a personalized regime of sedation dosage and ventilator support. To this end, we use off-policy reinforcement learning algorithms to determine the best action at a given patient state from sub-optimal historical ICU data. We compare treatment policies from fitted Q-iteration with extremely randomized trees and with feedforward neural networks, and demonstrate that the policies learnt show promise in recommending weaning protocols with improved outcomes, in terms of minimizing rates of reintubation and regulating physiological stability.

연구 동기 및 목표

• 결정 지원 도구를 개발하여 탈관 준비까지의 시간을 예측하고 진정/환기 요법을 개인화한다.
• 오프-폴리시 강화 학습을 적용하여 과거 ICU 데이터에서 최적의 weaning 행동을 학습한다.
• 정책 평가자として Fitted Q-iteration을 Extra-Trees 및 neural networks(NFQ)와 비교한다.
• RL로 도출된 정책이 임상 실무와 얼마나 일치하고 환자 결과를 개선하는지 평가한다.
• 학습된 weaning 결정에 영향을 주는 주요 생리적 특징을 식별한다.

제안 방법

• ICU weaning을 Markov decision process로 모델링하고 32-dimensional state representation을 사용한다.
• 8-action space를 정의하여 ventilation on/off와 진정의 4단계를 10-minute intervals로 결합한다.
• 안정된 활력 징후와 성공적인 extubation을 유도하고 장시간의 ventilation 및 불리한 사건에 페널티를 부여하는 보상 함수를 구성한다.
• 10-minute interval 상태를 얻기 위해 irregular하고 sparse한 활력 징후를 다중 출력 Gaussian process로 보간한다.
• 오프-폴리시 Fitted Q-iteration(FQI)을 Extra-Trees 및 neural networks(NFQ)로 사용하여 정책을 학습한다.
• MIMIC-III의 1,800개 학습 사례와 664개 테스트 사례를 대상으로 수백만 건의 전환을 포함하여 정책을 평가한다.

실험 결과

연구 질문

• RQ1 오프-폴리시 강화 학습이 과거 ICU 데이터에서 효과적인 weaning 및 진정 정책을 학습할 수 있는가?
• RQ2 FQI with Extra-Trees와 NFQ가 환기 및 진정 정책 학습에 있어 어떤 차이를 보이는가?
• RQ3 32-dimensional 상태에서 정책 결정에 가장 많이 영향을 주는 특징은 무엇인가?
• RQ4 RL 유도 권고가 병원 실무와 비교해 재삽관 감소 및 누적 보상을 개선하는가?

주요 결과

• FQIT와 NFQ를 통해 학습된 정책은 병원 정책과의 일치율이 비슷하게 나타난다(~85%의 환기 정책 일치).
• NFQ는 진정 정책의 정확도가 FQIT보다 낮으며(58%로 명시된 수치가 아니라면) 더 불안정한 경향이 있다.
• 병원 정책과 더 많이 일치하는 정책일수록 재삽관이 적고 누적 보상이 더 높은 경향이 있다.
• 정책의 주요 예측 특징으로 동맥 산소분압(O2)·동맥 pH·FiO2·O2 흐름·PEEP 등이 포함되며 탈관 기준과 일치한다.
• 체중 및 연령(인구통계학적 변수)이 학습된 weaning 정책에 상당한 영향을 주며 체중 기반 용량 설정과 회복 속도를 반영한다.
• 두 회귀기의 Q-함수 추정 수렴은 약 60회의 반복 이후 일어나며 NFQ가 Extra-Trees보다 실행 시간이 빠르다.