[논문 리뷰] Is Deep Reinforcement Learning Ready for Practical Applications in Healthcare? A Sensitivity Analysis of Duel-DDQN for Sepsis Treatment

Mingyu Lu, Zachary Shahn외 3명|arXiv (Cornell University)|2020. 05. 08.

Machine Learning in Healthcare참고 문헌 13인용 수 2

한 줄 요약

이 연구는 중환자실 환자를 대상으로 한 패혈증 치료 정책을 학습하는 데에 Dueling Double Deep Q-Network (Dueling-DDQN) 에이전트의 민감도를 평가한다. 입력 특징, 시간 이산화, 보상 함수, 난수 시드의 변동이 학습된 정책을 크게 변화시킴을 발견하여, 임상적 도입을 위한 엄격한 민감도 분석 없이 강화학습 출력을 해석하는 데서 발생할 수 있는 위험을 경고한다.

ABSTRACT

The potential of Reinforcement Learning (RL) has been demonstrated through successful applications to games such as Go and Atari. However, while it is straightforward to evaluate the performance of an RL algorithm in a game setting by simply using it to play the game, evaluation is a major challenge in clinical settings where it could be unsafe to follow RL policies in practice. Thus, understanding sensitivity of RL policies to the host of decisions made during implementation is an important step toward building the type of trust in RL required for eventual clinical uptake. In this work, we perform a sensitivity analysis on a state-of-the-art RL algorithm (Dueling Double Deep Q-Networks)applied to hemodynamic stabilization treatment strategies for septic patients in the ICU. We consider sensitivity of learned policies to input features, time discretization, reward function, and random seeds. We find that varying these settings can significantly impact learned policies, which suggests a need for caution when interpreting RL agent output.

연구 동기 및 목표

• 패혈증 중환자에서 혈역학 안정화 정책을 학습하는 데에 깊이 강화학습 에이전트의 탄력성을 평가하기 위해.
• 구현 선택 사항이 임상 환경에서 학습된 강화학습 정책에 어떤 영향을 미치는지 조사하기 위해.
• 임상적 도입에 신뢰를 떨어뜨릴 수 있는 강화학습 정책 성능의 주요 변동 원인을 특정하기 위해.
• 실제 의료 환경에서 하이퍼파라미터와 설계 결정에 대한 Dueling-DDQN의 민감도에 대한 경험적 증거를 제공하기 위해.

제안 방법

• 이 연구는 중환자실 데이터를 사용하여 패혈증 환자에 대한 최적의 치료 전략을 학습하기 위해 Dueling Double Deep Q-Networks (Dueling-DDQN) 를 적용한다.
• 알고리즘은 시간에 따라 변화하는 생리적 데이터를 기반으로 순차적인 치료 결정을 내려 혈역학 안정화를 목표로 훈련된다.
• 민감도 분석은 입력 특징, 시간 이산화 간격, 보상 형태 함수, 난수 시드를 체계적으로 변화시켜 수행된다.
• 다양한 설정에서 정책 성능을 평가하여 치료 전략과 예측 결과의 변화를 측정한다.
• 다양한 설정 간의 정책 이탈 정도를 정량화하여 학습된 에이전트의 안정성과 신뢰성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 Dueling-DDQN 에이전트가 패혈증 관리에서 학습하는 정책에 입력 특징의 선택이 어떤 영향을 미치는가?
• RQ2 시간 이산화가 강화학습 정책의 안정성과 성능에 얼마나 큰 영향을 미치는가?
• RQ3 형태 보상 함수의 변화에 따라 학습된 정책이 얼마나 민감한가?
• RQ4 훈련 중에 다른 난수 시드에 따라 정책 행동은 얼마나 다를까?

주요 결과

• 입력 특징의 변동으로 인해 강화학습 에이전트가 학습한 치료 정책에 상당한 차이가 발생하여 특징 선택에 매우 민감함을 시사한다.
• 다른 시간 이산화 간격은 에이전트의 정책 구조와 의사결정 패턴을 크게 변화시켰다.
• 보상 함수 설계가 정책 행동에 강한 영향을 미쳤으며, 변화로 인해 다른 치료 전략이 도출되었다.
• 난수 시드의 변화로 인해 정책 결과에 뚜렷한 변동성이 발생하여, 훈련 런에 따른 정책 수렴의 불안정성을 시사한다.