[논문 리뷰] Dynamic Measurement Scheduling for Event Forecasting using Deep RL

Chun‐Hao Chang, Mingjie Mai외 1명|arXiv (Cornell University)|2019. 01. 24.

Machine Learning in Healthcare참고 문헌 37인용 수 6

한 줄 요약

이 논문은 예측 성능과 검사 비용을 동시에 최적화하는 동적이고 비용 효율적인 측정 일정 조정을 위한 딥 강화학습(DRL) 기반 프레임워크를 제안한다. MIMIC-III 평가에서 ICU 데이터 기반으로 훈련된 듀얼 딥 Q-네트워크를 사용하여, 환자별 맞춤형으로 적응하는 일정 조정 정책을 학습함으로써 기존 의료진 실천 대비 측정 빈도를 31% 감소시키거나 예측 성능을 300% 향상시킨다.

ABSTRACT

Imagine a patient in critical condition. What and when should be measured to forecast detrimental events, especially under the budget constraints? We answer this question by deep reinforcement learning (RL) that jointly minimizes the measurement cost and maximizes predictive gain, by scheduling strategically-timed measurements. We learn our policy to be dynamically dependent on the patient's health history. To scale our framework to exponentially large action space, we distribute our reward in a sequential setting that makes the learning easier. In our simulation, our policy outperforms heuristic-based scheduling with higher predictive gain and lower cost. In a real-world ICU mortality prediction task (MIMIC3), our policies reduce the total number of measurements by $31\%$ or improve predictive gain by a factor of $3$ as compared to physicians, under the off-policy policy evaluation.

연구 동기 및 목표

• 중증 관리에서의 높은 비용과 불필요한 반복 검사의 비효율성을 해결하기 위해 데이터 기반의 동적 측정 일정 조정 시스템을 개발한다.
• ICU 사망과 같은 악성 사건의 예측 정확도를 극대화하면서 측정 비용을 최소화한다.
• 임상적 측정 일정 조정에서 흔히 나타나는 큰 순차적 행동 공간을 다룰 수 있는 확장 가능한 강화학습 프레임워크를 구축한다.
• 실제 ICU 데이터에서의 오프-정책 평가를 통해 학습된 정책을 의료진 실천 및 무작위 기준과 비교한다.
• 환자의 병력과 상태 변화에 따라 진화하는 임상적으로 해석 가능한 적응형 측정 정책을 제공한다.

제안 방법

• 두 단계 프레임워크: 첫째, 비정규적이고 시간에 따라 변하는 EHR 데이터로부터 환자 상태를 모델링하고, 사망과 같은 사건의 확률을 예측하기 위해 장기 단기 기억(LSTM) 네트워크를 사용한다.
• 둘째, 예측 성능 향상과 측정 비용 최소화를 위해 최적화하는 동적 측정 일정 조정 정책을 학습하기 위해 듀얼 딥 Q-네트워크(DQN)를 사용한다.
• DQN 에이전트는 환자 병력을 요약한 LSTM의 은닉 상태와 이전 측정의 원-핫 인코딩을 입력으로 받아 맥락 인식 결정을 가능하게 한다.
• 행동 공간이 기하급수적으로 증가하는 문제를 해결하기 위해 순차적 행동 설정을 사용하여, 에이전트가 한 번에 하나의 측정을 결정함으로써 훈련 안정성을 향상시킨다.
• 보상 형상화는 각 측정 이후 예측된 사건 확률의 변화를 기반으로 하여 즉각적인 피드백을 제공하고, 희소한 사건 기반 보상보다 훈련이 용이하다.
• 오프-정책 정책 평가(OPPE)를 사용하여 온라인 배포가 필요 없이 학습된 정책을 의료진 및 무작위 기준과 비교한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 ICU 환경에서 측정 비용을 줄이면서도 예측 성능을 향상시키는 동적 측정 일정 조정 정책을 학습할 수 있는가?
• RQ2 실제 ICU 데이터에서 학습된 DRL 정책의 성능은 의료진 지도 및 무작위 측정 일정 조정 방식과 비교해 어떻게 되는가?
• RQ3 DRL 에이전트는 환자의 변화하는 건강 병력과 이전 측정 결과에 기반해 측정 전략을 얼마나 잘 적응하는가?
• RQ4 순차적 행동 설정은 임상적 혈액 검사 일정 조정에서 흔히 나타나는 큰 행동 공간에 대해 프레임워크를 효과적으로 확장하는가?
• RQ5 이 프레임워크는 비정규적 샘플링과 고차원 특징을 포함한 실세계 데이터에 일반화되며 임상적 관련성을 유지할 수 있는가?

주요 결과

• MIMIC-III ICU 데이터셋에서 DRL 기반 일정 조정 정책은 기존 의료진 실천 대비 총 측정 횟수를 31% 감소시키면서도 예측 성능을 유지하거나 향상시켰다.
• 동일한 정책은 오프-정책 평가에서 의료진 정책 대비 300% 높은 예측 성능 향상(정보 이득)을 달성했다.
• 학습된 정책은 최근 데이터가 없을 경우 더 많은 측정을 수행하고, 최근 측정이 있으면 측정 빈도를 줄이는 적응형 행동을 보였으며, 임상적 직관과 부합했다.
• 순차적 DQN 프레임워크는 잠재적인 혈액 검사의 큰 행동 공간을 효과적으로 처리하여 확장 가능하고 안정적인 훈련을 가능케 했다.
• 정성적 분석 결과, 에이전트는 특히 악화되는 환자에서 락타트와 크레아티닌과 같은 임상적으로 관련성이 높은 측정을 우선순위로 삼았다.
• 심층 분류기가 거의 완벽한 경우에도 시뮬레이션에서 히وري스틱 일정 조정 규칙보다 성능이 뛰어나, 강인성과 전략적 학습 능력을 입증했다.