[논문 리뷰] Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey

Siqi Liu, Kee Yuan Ngiam외 1명|arXiv (Cornell University)|2019. 07. 22.

Advanced Bandit Algorithms Research참고 문헌 52인용 수 11

한 줄 요약

이 종합 검토는 임상 의사결정 지원을 위한 딥 강화학습(DRL)을 소개하며, DRL 알고리즘, 의료 분야에서의 응용 사례, 적절한 모델 선택 가이드라인을 요약한다. 전자적 건강기록(EHR)을 활용한 개인화된 치료 결정 최적화 가능성을 강조하며, 패혈증, 기계통기 중단, 약물 복용량 조절 등의 사례 연구를 제시한다. 보상 설계 및 데이터 부족과 같은 과제도 다룬다.

ABSTRACT

Owe to the recent advancements in Artificial Intelligence especially deep learning, many data-driven decision support systems have been implemented to facilitate medical doctors in delivering personalized care. We focus on the deep reinforcement learning (DRL) models in this paper. DRL models have demonstrated human-level or even superior performance in the tasks of computer vision and game playings, such as Go and Atari game. However, the adoption of deep reinforcement learning techniques in clinical decision optimization is still rare. We present the first survey that summarizes reinforcement learning algorithms with Deep Neural Networks (DNN) on clinical decision support. We also discuss some case studies, where different DRL algorithms were applied to address various clinical challenges. We further compare and contrast the advantages and limitations of various DRL algorithms and present a preliminary guide on how to choose the appropriate DRL algorithm for particular clinical applications.

연구 동기 및 목표

• 임상 의사결정 지원에 적용된 딥 강화학습(DRL) 알고리즘에 대한 종합적 종합 검토를 제공하는 것.
• 다양한 DRL 알고리즘의 상호 교환 관계와 가정을 임상적 맥락에서 분석하는 것.
• 특정 임상 응용 요구사항에 기반해 적절한 DRL 모델을 선택하는 데 실용적인 가이드를 제공하는 것.
• 보상 설계, 데이터 품질, 윤리적 제약 등 DRL을 의료 분야에 적용할 때 발생하는 주요 과제를 규명하는 것.
• ICU 환경에서 DRL 모델 평가를 위한 벤치마크로 MIMIC-III 데이터베이스를 제안하는 것.

제안 방법

• 딥 Q네트워크(DQN), 더블 DQN, 피팅된 Q 반복, 순환 아키텍처를 갖춘 딥 Q네트워크(DRQN), 액터-크리틱 방법 등 주요 DRL 알고리즘을 분류하고 검토한다.
• 상태, 행동, 전이, 보상 함수를 갖춘 마르코프 결정 과정(MDP) 수식을 사용해 임상 환경에서의 순차적 의사결정을 모델링한다.
• 주로 MIMIC-III 및 MIMIC-II에서 유래한 관찰 기반 전자 건강기록(EHR) 데이터를 활용해 실제 임상 경로를 기반으로 DRL 에이전트를 훈련시킨다.
• 수동으로 설계된 보상에 의존하지 않기 위해 전문가 행동에서 보상을 추론하는 역강화학습(IRL)을 적용한다.
• ε-그리디, 톰슨 샘플링, 정보 이득 등 탐색 전략을 평가하여 임상 환경에서 탐색과 이용의 균형을 이룬다.
• 데이터 부족 문제를 완화하기 위해 데이터 증강 및 전이학습 기법을 제안한다.

실험 결과

연구 질문

• RQ1 동적이고 고차원적인 의료 환경에서 임상 의사결정 지원에 가장 적합한 DRL 알고리즘은 무엇인가?
• RQ2 결과가 지연되고 다면적인 임상 환경에서 보상 함수를 효과적으로 설계하거나 유추할 수 있는 방법은 무엇인가?
• RQ3 의료 분야에 DRL을 적용할 때 주로 발생하는 과제는 무엇인가? 특히 데이터 품질, 윤리, 해석 가능성 측면에서 설명하라.
• RQ4 표준화된 평가 프로토콜가 부족한 상황에서 DRL 모델을 임상 응용 분야에서 어떻게 벤치마크하고 검증할 수 있는가?
• RQ5 伝통적인 의사결정 지원 시스템을 초월해 DRL이 개인화된 치료 권고를 어떻게 향상시킬 수 있는가?

주요 결과

• 더블 DQN 및 피팅된 Q 반복 알고리즘은 MIMIC-III 데이터를 활용해 패혈증 환자에서 혈관수축제 및 체액 치료 최적화에 효과적인 성능을 보였다.
• 역강화학습(IRL)을 활용해 수동으로 설계된 보상에 의존하지 않고도 임상적으로 타당한 보상 함수를 학습시켜 실제 임상 결과와의 일치도를 향상시켰다.
• 액터-크리틱 및 계층적 강화학습 접근법은 ICU 환경에서 증상 검사 및 약물 처방과 같은 복잡한 작업에서 잠재력을 보였다.
• 데이터 부족은 여전히 주요 과제이지만, 전이학습 및 GAN 기반 데이터 생성 기법이 데이터가 제한된 기관에 대한 실용적인 해결책을 제공한다.
• 의료 분야에서 표준화된 벤치마크가 부족하여 재현성이 제한되며, 저자들은 향후 DRL 임상 응용을 위한 기초 벤치마크로 MIMIC-III를 사용할 것을 제안한다.
• ε-그리디 및 톰슨 샘플링과 같은 탐색 전략은 임상 DRL 환경에서 실현 가능하지만, 윤리적 제약을 고려해 치료 중 유해한 간섭을 방지하기 위해 신중한 설계가 필요하다.