[논문 리뷰] Is Deep Reinforcement Learning Ready for Practical Applications in Healthcare? A Sensitivity Analysis of Duel-DDQN for Hemodynamic Management in Sepsis Patients

Mingyu Lu, Zachary Shahn외 3명|PubMed|2020. 05. 08.

Sepsis Diagnosis and Treatment참고 문헌 25인용 수 10

한 줄 요약

이 연구는 혈역학적 관리에 대한 듀얼 더블 딥 Q-네트워크(Duel-DDQN)의 민감도를 허혈성 환자에서 핵심 구현 선택 사항에 대해 평가한다. 입력 특징, 보상 설계, 시간 이산화, 난수 시드의 작은 변화가 유의미하게 다른 정책을 초래하며, 때로는 임상적으로 해로운 정책으로 이어지므로, 의료 분야에서 딥 강화학습의 실질적 적용에 있어 심각한 안정성 문제를 제기한다.

ABSTRACT

The potential of Reinforcement Learning (RL) has been demonstrated through successful applications to games such as Go and Atari. However, while it is straightforward to evaluate the performance of an RL algorithm in a game setting by simply using it to play the game, evaluation is a major challenge in clinical settings where it could be unsafe to follow RL policies in practice. Thus, understanding sensitivity of RL policies to the host of decisions made during implementation is an important step toward building the type of trust in RL required for eventual clinical uptake. In this work, we perform a sensitivity analysis on a state-of-the-art RL algorithm (Dueling Double Deep Q-Networks) applied to hemodynamic stabilization treatment strategies for septic patients in the ICU. We consider sensitivity of learned policies to input features, embedding model architecture, time discretization, reward function, and random seeds. We find that varying these settings can significantly impact learned policies, which suggests a need for caution when interpreting RL agent output.

연구 동기 및 목표

• 세균성 쇼크 중환자의 혈역학적 관리 정책을 학습하는 데 있어 듀얼-DDQN 에이전트의 견고성을 평가하기 위해.
• 상태 표현, 시간 이산화, 보상 함수와 같은 구현 결정이 학습된 정책에 어떻게 영향을 미치는지 조사하기 위해.
• 보기에 미미해 보이는 알고리즘적 선택 사항이 치료 권고에 임상적으로 의미 있는 차이를 초래하는지 평가하기 위해.
• 정책 신뢰성에 핵심적인 영향을 미치는 설계 선택 사항을 특정하고, 과도한 민감성을 유도하는 사항을 경고하기 위해.
• 구현 변동성으로 인한 정책 불안정성의 위험을 드러내어 향후 의료 분야의 DRL 응용에 대한 지침을 제공하기 위해.

제안 방법

• 과거 ICU 데이터를 기반으로 순차적 치료 결정을 위한 기본적인 듀얼-DDQN 모델을 개발하였다.
• 치료력 포함 여부, 시간 박스 지속 시간, 보상 함수, 임bedding 아키텍처, 난수 시드 초기화의 다섯 가지 축에 걸쳐 체계적인 민감도 분석을 수행하였다.
• 환자 궤적을 모델링하기 위해 상태, 행동, 전이, 보상 구성 요소를 포함한 마르코프 결정 과정(MDP) 프레임워크를 사용하였다.
• 가치 함수 추정과 정책 안정성 향상을 위해 더블 DQN과 듀얼링 네트워크 아키텍처를 적용한 Q-러닝을 적용하였다.
• 동일한 데이터를 바탕으로 하지만 다른 설정으로 구성된 여러 정책 변형을 학습하고 평가하여 학습된 행동를 비교하였다.
• 예상 수익과 임상적 타당성(특히 SOFA 점수별 하위군 분석 포함)을 통해 정책 품질을 평가하였다.

실험 결과

연구 질문

• RQ1 상태 표현에 치료력 포함 여부가 듀얼-DDQN 정책에 얼마나 민감한가?
• RQ2 다른 시간 이산화 간격이 학습된 치료 전략에 어떻게 영향을 미치는가?
• RQ3 보상 함수의 변형이 최종 정책과 그 임상적 타당성에 어떻게 영향을 미치는가?
• RQ4 상태 임베딩을 위한 신경망 아키텍처 선택이 정책 성능과 안정성에 어떻게 영향을 미치는가?
• RQ5 난수 시드의 변동이 어떻게 다를 수 있으며, 임상적으로 열악한 정책으로 이어지는가?

주요 결과

• 치료력이 상태에 포함되지 않은 경우, 정책는 매 시간 단위로 비만압류제나 체액을 투여하도록 권고하는 명백히 해로운 전략이 되었으며, 임상 지침과 일치하지 않았다.
• 다른 난수 시드로 생성된 정책는 유사한 예상 수익을 보였지만, 행동 분포가 정량적으로 다르게 나타나 정책 학습의 불안정성을 시사했다.
• 보상 함수 설계는 정책 행동에 상당한 영향을 미쳤으며, 일부 형태는 고위험 환자에게 고용량 치료를 보류하는 비직관적인 권고로 이어졌다.
• 시간 이산화 선택 사항은 정책 행동을 변화시켰으며, 짧은 박스 간격은 과다 치료를 유도하고, 긴 간격은 치료 지연을 초래했다.
• 상태 표현에 순환 신경망을 사용한 것은 정책의 안정성을 일관되게 향상시키지 못했으며, 때로는 비정상적인 행동을 유도했다.
• SOFA 점수별 하위군 분석에서 DQN 에이전트는 훈련 데이터에서 드물게 발생한 행동에도 불구하고 고위험 환자에게 고용량 치료를 시행하지 않는 해로운 행동을 권고하였다. 이는 외삽 문제의 가능성을 시사한다.