[논문 리뷰] Representation and Reinforcement Learning for Personalized Glycemic Control in Septic Patients

Wei‐Hung Weng, Mingwu Gao외 3명|arXiv (Cornell University)|2017. 12. 02.

Hyperglycemia and glycemic control in critically ill and hospitalized patients참고 문헌 12인용 수 46

한 줄 요약

이 연구는 후행적 중환자실 데이터를 사용하여 패혈증 환자의 개인화된 최적의 혈액포도당 목표를 식별하기 위해 표현 학습을 통합한 강화학습(RL) 프레임워크를 제안한다. 희소 오토에인코드를 통해 환자 상태를 인코딩하고 정책 반복을 적용함으로써, 실제 경로 대비 예측된 90일 사망률을 6.3% 감소시킨 최적의 정책을 학습한다 (31%에서 24.75%로).

ABSTRACT

Glycemic control is essential for critical care. However, it is a challenging task because there has been no study on personalized optimal strategies for glycemic control. This work aims to learn personalized optimal glycemic trajectories for severely ill septic patients by learning data-driven policies to identify optimal targeted blood glucose levels as a reference for clinicians. We encoded patient states using a sparse autoencoder and adopted a reinforcement learning paradigm using policy iteration to learn the optimal policy from data. We also estimated the expected return following the policy learned from the recorded glycemic trajectories, which yielded a function indicating the relationship between real blood glucose values and 90-day mortality rates. This suggests that the learned optimal policy could reduce the patients' estimated 90-day mortality rate by 6.3%, from 31% to 24.7%. The result demonstrates that reinforcement learning with appropriate patient state encoding can potentially provide optimal glycemic trajectories and allow clinicians to design a personalized strategy for glycemic control in septic patients.

연구 동기 및 목표

• 비만한 일률적 포도당 목표가 아닌, 데이터 기반의 개인화된 당뇨 조절 접근법을 개발하기 위해.
• 실제 임상 데이터에서 최적의 당뇨 조절 궤적을 학습하여 중환자 집중 치료에서 높은 당뇨 변동성과 악화된 결과를 해결하기 위해.
• 강화학습과 환자 상태 표현을 활용해 개인화된 목표 포도당 수치를 식별함으로써 90일 사망률을 감소시키기 위해.
• 개인별 환자 생리학적 및 병리학적 특징을 바탕으로 최적의 포도당 기준 범위를 제안하는 의사결정 지원 도구를 임상의에게 제공하기 위해.
• 주요 결과 지표로 사망률을 사용하여 시뮬레이션된 최적 궤적과 실제 임상 결과를 비교함으로써 방법의 유효성을 검증하기 위해.

제안 방법

• 환자 상태는 원시 임상 특징과 32차원의 희소 오토에인코드를 통해 학습된 잠재 표현을 모두 사용하여 표현하여 상태 인코딩을 향상시켰다.
• 90일 사망률을 보상 신호로 사용하는 마르코프 결정 과정(MDP)을 설정: 생존 시 +100, 90일 내 사망 시 -100.
• 행동는 이산화된 포도당 수준로 설정되었으며, 11개의 박스로 나누어 임상적 의사결정에 활용 가능한 목표 포도당 범위를 나타냈다.
• 기대 수익(기대 보상)을 최대화하는 최적의 정책 π*를 학습하기 위해 정책 반복을 사용하였다.
• 기대 수익 함수를 사용하여 실제 및 시뮬레이션된 궤적의 사망률을 추정하고 비교할 수 있도록 하였다.
• 고차원 상태 공간을 관리하고 정책 일반화를 향상시키기 위해 상태 클러스터링(Ng, 2011)을 적용하였다.

실험 결과

연구 질문

• RQ1 학습된 환자 상태 표현을 사용한 강화학습이 패혈증 중환자에서 생존률을 향상시키는 개인화된 최적의 당도 목표 수치를 식별할 수 있는가?
• RQ2 환자 상태 표현 방식(원시 대비 오토에인코드된 표현)의 선택이 최적의 RL 정책의 90일 사망률 예측 성능에 어떤 영향을 미치는가?
• RQ3 최적의 정책은 실제 임상 당도 조절 관행에 비해 예측된 90일 사망률을 얼마나 줄일 수 있는가?
• RQ4 학습된 기대 수익 함수는 사망률을 측정함으로써 실제 환자 결과를 정확히 반영하는가?
• RQ5 이 RL 프레임워크는 임상의가 중환자 치료에서 개인화된 포도당 목표를 설정하는 데 신뢰할 수 있는 의사결정 지원 도구로 활용될 수 있는가?

주요 결과

• 희소 오토에인코드로 인코딩된 상태에서 학습된 최적의 정책은 예측된 90일 사망률을 24.75%로 낮추어 실제 사망률 31.17% 대비 6.3%의 절대 감소를 이룩하였다.
• 원시 특징을 사용할 경우, 최적의 정책는 실제 정책의 31.00%에서 최적 정책의 27.29%로 3.71%의 개선을 이룩하였다.
• 최적 정책에서 학습된 기대 수익 함수는 실제 사망률과 강한 음의 상관관계를 보였으며, 이는 그 예측 능력의 타당성을 입증하였다.
• 실제 궤적에서 추정된 사망률-기대 수익 함수는 실제 90일 사망률(31.17%)과 매우 유사하여 모델의 신뢰성을 확인하였다.
• 희소 오토에인코드에서 유도된 잠재 표현은 정책 성능을 향상시켜 원시 특징 대비 예측 사망률을 2.46%p 감소시켰다.
• 이 방법은 RL을 통해 유도된 개인화된 당도 목표가 패혈증 중환자에서 예측 가능한 결과를 크게 향상시킬 수 있음을 입증하였다.