[논문 리뷰] Challenges for Reinforcement Learning in Healthcare

Elsa Riachi, Muhammad Mamdani외 2명|arXiv (Cornell University)|2021. 03. 09.

Health Systems, Economic Evaluations, Quality of Life참고 문헌 45인용 수 4

한 줄 요약

이 논문은 보상 함수 설계, 상태 및 행동 표현, 정책 평가, 해석 가능성 등 강화학습(RL)을 의료 분야에 적용할 때 발생하는 핵심 과제를 규명하고 분석한다. 관찰 데이터와 임상적 복잡성으로 인해 RL의 실세계 적용이 제한됨을 지적하며, 안전하고 신뢰할 수 있는 개인 맞춤 의료의 의사결정 지원을 보장하기 위해 향상된 검증 기준과 해석 가능성 방법의 필요성을 주장한다.

ABSTRACT

Many healthcare decisions involve navigating through a multitude of treatment options in a sequential and iterative manner to find an optimal treatment pathway with the goal of an optimal patient outcome. Such optimization problems may be amenable to reinforcement learning. A reinforcement learning agent could be trained to provide treatment recommendations for physicians, acting as a decision support tool. However, a number of difficulties arise when using RL beyond benchmark environments, such as specifying the reward function, choosing an appropriate state representation and evaluating the learned policy.

연구 동기 및 목표

• 실세계 의료 환경에서 임상의사결정 지원에 강화학습(RL)을 적용할 때의 핵심 과제를 규명하고 분석하는 것.
• 관찰 의료 데이터에서 상태 및 행동 공간 표현의 한계가 정책 학습 및 평가에 미치는 영향을 검토하는 것.
• 역사적 데이터로 학습된 RL 정책을 실세계 임상 환경에 도입할 때 분포 이탈 및 일반화 부족의 위험을 부각하는 것.
• RL 기반 임상의사결정 지원의 신뢰성과 안전성을 확보하기 위해 반드시 필요로 하는 해석 가능성 및 검증 프레임워크의 필요성을 다루는 것.
• 강건한 정책 평가, 상태 표현 진단, 의료 분야에서 RL 정책을 검증하기 위한 표준화된 접근 방식을 중심으로 향후 연구 방향을 제안하는 것.

제안 방법

• 순차적 치료 결정을 모델링하기 위해 마르코프 결정 과정(MDP) 프레임워크를 사용하며, 상태 공간 S, 행동 공간 A, 보상 함수 r, 할인 요소 γ, 전이 확률 P를 포함한다.
• 관찰 데이터를 사용하여 학습된 정책을 평가하기 위해 오프-폴리시 평가 기법을 적용하며, 분포 이탈 및 혼동 요인으로 인한 한계를 인정한다.
• 벨만 방정식을 활용해 최적의 행동가치 함수 Q*(s,a)를 근사하는 값 기반 RL 알고리즘(예: Q-학습)을 적용한다.
• 로컬 해석 가능성 방법(예: LIME 유사 근사)과 특징 중요도 메트릭(예: 상호정보량)을 활용해 정책 결정을 설명한다.
• 상태 표현이 정책 성능에 미치는 영향을 조사하며, 연속형 표현과 이산형 표현 간의 비교와 외삽 오류에 대한 취약성을 분석한다.
• 환자의 선호도, 사회경제적 상태 등 임상적·비임상적 요소를 상태 표현에 통합하여 실제 의사결정 영향 요인을 반영할 것을 제안한다.

실험 결과

연구 질문

• RQ1 상태 및 행동 표현의 설계 선택이 의료 분야에서의 RL 정책 성능 및 신뢰성에 미치는 영향는 어떠한가?
• RQ2 관찰 EHR 데이터로 학습된 RL 정책을 정확하게 검증하기 위해 오프-폴리시 평가가 어느 정도 유용한가?
• RQ3 어떻게 해서 해석 가능성 도구를 임상적으로 의미 있는 방식으로 RL 정책 결정을 설명할 수 있는가?
• RQ4 실세계 임상 환경에서 행동 정책에서 벗어나는 RL 정책을 도입할 경우 분포 이탈의 위험은 무엇인가?
• RQ5 안전이 중요한 의료 응용 분야에서 RL 정책을 검증하고 진단하기 위해 필요한 표준 또는 히وري스틱은 무엇인가?

주요 결과

• 보상 함수 설계는 의료 분야에서 매우 도전적인 과제이며, 단순하거나 잘못 일치된 보상(예: 사망률만 최소화하는 것)은 최적화되지 않거나 직관에 어긋나는 정책을 초래할 수 있다.
• 약물 복용량과 같은 연속형 치료 행동을 백분위수 기반으로 이산화하면 대부분의 데이터가 최소 백분위수(예: 0제제)에 집중되므로, 정책 학습에 악영향을 미치며, 이는 행동이 없는 기준선과 구별되지 않게 된다.
• 상태 표현의 선택은 정책 성능 및 해석 가능성에 결정적인 영향을 미치며, 연속형 표현은 외삽 오류에 취약하고, 이산형 표현은 해상도를 상실할 수 있다.
• 상태 표현이 관련 임상 역학이나 혼동 요인을 충분히 반영하지 못할 경우, 오프-폴리시 평가는 학습된 정책의 결함을 탐지하지 못할 수 있다.
• 특징 중요도 및 로컬 서rogate 모델과 같은 해석 가능성 도구는 정책 결정을 설명하는 데 도움이 되지만, 비임상적 요소가 결정에 영향을 미칠 경우 에이전트가 특징을 어떻게 해석하는지 완전히 드러내지는 못할 수 있다.
• 특히 드문 상태나 탐색되지 않은 상태에서의 정책 강건성 평가를 보장하기 위해 표준화된 검증 프레임워크의 도입이 절실한 상황이다. 이는 임상 적용 시 안전성과 신뢰성 확보에 필수적이다.