[논문 리뷰] Reinforcement Learning in Healthcare: A Survey

Chao Yu, Jiming Liu외 1명|arXiv (Cornell University)|2019. 08. 22.

Machine Learning in Healthcare참고 문헌 336인용 수 116

한 줄 요약

의료 분야에서의 강화학습(RL)에 대한 포괄적 고찰로, 이론적 기초, 핵심 기술, 다양한 임상 응용, 그리고 남은 과제들을 상세히 다룬다.

ABSTRACT

As a subfield of machine learning, reinforcement learning (RL) aims at empowering one's capabilities in behavioural decision making by using interaction experience with the world and an evaluative feedback. Unlike traditional supervised learning methods that usually rely on one-shot, exhaustive and supervised reward signals, RL tackles with sequential decision making problems with sampled, evaluative and delayed feedback simultaneously. Such distinctive features make RL technique a suitable candidate for developing powerful solutions in a variety of healthcare domains, where diagnosing decisions or treatment regimes are usually characterized by a prolonged and sequential procedure. This survey discusses the broad applications of RL techniques in healthcare domains, in order to provide the research community with systematic understanding of theoretical foundations, enabling methods and techniques, existing challenges, and new insights of this emerging paradigm. By first briefly examining theoretical foundations and key techniques in RL research from efficient and representational directions, we then provide an overview of RL applications in healthcare domains ranging from dynamic treatment regimes in chronic diseases and critical care, automated medical diagnosis from both unstructured and structured clinical data, as well as many other control or scheduling domains that have infiltrated many aspects of a healthcare system. Finally, we summarize the challenges and open issues in current research, and point out some potential solutions and directions for future research.

연구 동기 및 목표

• 의료와 관련된 RL의 기초와 기법에 대한 체계적인 이해를 제공한다.
• 동적 치료 규칙, 중환자 치료, 자동 진단, 보건 시스템 관리에서의 RL 응용을 요약한다.
• 의료 분야에서의 향후 RL 연구를 위한 도전 과제, 남아 있는 이슈 및 가능한 방향을 식별한다.
• 효율적 RL 기법과 표현적 RL 기법의 차이점 및 이들이 의료 문제에 적합한 정도를 비교한다.

제안 방법

• RL의 이론적 기초(MDP, 가치 함수, Q-학습, DP, 정책 대 가치 기반 방법)를 검토한다.
• 효율적(BRL, 모델 기반, 전이) 및 표현적(HRL, RRL, POMDP/PORL, IRL, MORL) 기법을 논의한다.
• 탐색-활용 전략과 주요 도전과제(안전성, 로버스트성, 해석가능성)를 설명한다.
• 상태, 행동, 보상, 용무에 대한 핵심 RL 표현을 요약한다(요소화된 MDP, HRL, RRL, POMDP).
• 의료 RL 응용을 동적 치료 규칙, 자동 진단, 기타 보건 도메인으로 구성한다.

실험 결과

연구 질문

• RQ1 의료 연속 의사결정 문제에 가장 적용 가능한 RL 기초와 기법은 무엇인가?
• RQ2 의료에서 RL 방법이 동적 치료 규칙과 자동 의료 진단에 어떻게 적용되는가?
• RQ3 의료 분야에서 RL의 광범위한 도입을 가로막는 주요 도전과제와 남아 있는 이슈은 무엇이며, 제시된 향후 방향은 무엇인가?

주요 결과

• RL은 연속적이고 지연된 피드백이 있는 의료 문제에 적합하며, 명시적 시스템 모델 없이도 개인별 맞춤 치료를 제공합니다.
• BRL, MRl, HRL, RRL, IRL, MORL 및 POMDP/PORL 표현은 학습 효율성과 확장성을 의료 맥락에서 향상시킵니다.
• 응용은 만성질환의 동적 치료 규칙과 중환자 치료, 구조화 데이터/비구조화 데이터에서의 자동 진단, 보건 시스템 관리에 걸쳐 있습니다.
• 본 고찰은 의료 RL에서 안전성, 로버스트성, 데이터 부족, 해석가능성, 그리고 원칙에 입각한 평가의 필요성과 같은 도전과제를 강조합니다.
• 향후 방향은 도메인 지식의 통합, 샘플 효율성 향상, 임상 배치를 위한 신뢰할 수 있고 설명 가능한 RL 방법의 개발을 강조한다.