[논문 리뷰] Enabling risk-aware Reinforcement Learning for medical interventions through uncertainty decomposition

Paul Festor, Giulia Luise외 2명|arXiv (Cornell University)|2021. 09. 16.

Health Systems, Economic Evaluations, Quality of Life인용 수 4

한 줄 요약

이 논문은 의료 결정 지원 시스템에서의 위험 인식과 해석 가능한 불확실성 추정을 가능하게 하는 분포 기반 강화학습 방법인 UA-DQN을 제안한다. 환경 동역학의 노이즈와 모델 지식 한계를 분리함으로써, 의료 결정 보조 시스템에서 위험 인식 가능한 결정 지원 기능을 실현하며, 격자 세계와 패혈증 치료 MDP에서 검증된 결과, 행동적으로 일관된 불확실성 패턴을 보였다.

ABSTRACT

Reinforcement Learning (RL) is emerging as tool for tackling complex control and decision-making problems. However, in high-risk environments such as healthcare, manufacturing, automotive or aerospace, it is often challenging to bridge the gap between an apparently optimal policy learnt by an agent and its real-world deployment, due to the uncertainties and risk associated with it. Broadly speaking RL agents face two kinds of uncertainty, 1. aleatoric uncertainty, which reflects randomness or noise in the dynamics of the world, and 2. epistemic uncertainty, which reflects the bounded knowledge of the agent due to model limitations and finite amount of information/data the agent has acquired about the world. These two types of uncertainty carry fundamentally different implications for the evaluation of performance and the level of risk or trust. Yet these aleatoric and epistemic uncertainties are generally confounded as standard and even distributional RL is agnostic to this difference. Here we propose how a distributional approach (UA-DQN) can be recast to render uncertainties by decomposing the net effects of each uncertainty. We demonstrate the operation of this method in grid world examples to build intuition and then show a proof of concept application for an RL agent operating as a clinical decision support system in critical care

연구 동기 및 목표

• 고위험 의료 간섭에 대한 강화학습에서의 불확실성 인식 부족 문제를 해결하기 위해.
• 강화학습 에이전트에서 환경 동역학의 랜덤성(애로우틱 불확실성)과 모델 지식 한계(엡스테믹 불확실성)를 구분하기 위해.
• 임상의가 임상의 결정 지원 시스템(CDSS)에서 불확실성 원인을 노출시켜 위험 인식 가능한 의사결정을 가능하게 하기 위해.
• MIMIC-III 데이터에서 유래한 현실적인 패혈증 치료 MDP와 함께 합성 격자 세계 환경에서 방법을 검증하기 위해.
• 불확실성 분해를 통해 강화학습 기반 임상 추천 시스템의 신뢰성과 해석 가능성 향상시키기 위해.

제안 방법

• 분포 기반 강화학습(DQN)을 변형하여 수익의 분포를 모델링하고 불확실성을 애로우틱 및 엡스테믹 성분으로 분해한다.
• 신경망을 사용해 수익 분포의 파라미터를 예측하고, 분산 분해를 통해 애로우틱 및 엡스테믹 불확실성을 유도한다.
• 불확실성 분해를 적용하여 애로우틱 불확실성을 수익 분포의 분산으로 추정하고, 엡스테믹 불확실성을 드롭아웃을 활용한 다중 전방전파 간 분산으로 추정한다.
• 패혈증 환자에 대한 혈관수축제 및 체액 투여를 중심으로 MIMIC-III 중증 관리 데이터셋에서 유도된 마르코프 결정 과정(MDP)에서 에이전트를 훈련시킨다.
• 스토케스틱 풍력 동역학을 가진 격자 세계에서 검증하여 제어 조건 하에서 올바른 불확실성 행동을 보여준다.
• 상태-행동 공간에서의 불확실성 추정치를 시각화하고, 엡스테믹 불확실성과 상태 방문 빈도 간 상관관계를 분석하여 모델 행동을 검증한다.

실험 결과

연구 질문

• RQ1 의료 결정 지원에서 애로우틱 및 엡스테믹 불확실성을 효과적으로 분해할 수 있는 분포 기반 강화학습 프레임워크가 가능한가?
• RQ2 알려진 랜덤성 원천과 데이터 희소성 존재하는 환경에서 추정된 불확실성 성분이 예상대로 행동하는가?
• RQ3 불확실성 분해가 강화학습 기반 임상의 결정 지원 시스템의 해석 가능성과 신뢰성 향상에 기여하는가?
• RQ4 실제 중증 관리 MDP에서 엡스테믹 및 애로우틱 불확실성은 데이터 희소성과 환경의 확률적 특성과 어떻게 상관관계가 있는가?
• RQ5 불확실성 추정치가 임상의가 임상적 추천에서 무작위 결과와 모델 불확실성 간을 구분하는 데 도움이 되는가?

주요 결과

• 격자 세계 실험에서, 바람에 의한 확률적 영향이 가장 큰 클리프 가장자리 부근에서 애로우틱 불확실성이 가장 높았으며, 이는 환경 노이즈에 대한 올바른 민감도를 확인했다.
• 엡스테믹 불확실성은 방문 빈도가 낮은 상태, 특히 오른쪽 상단 모서리에서 가장 높았으며, 이는 데이터 부족에 대한 민감도를 확인했다.
• 패혈증 MDP에서 엡스테믹 불확실성은 상태 방문 빈도와 반비례했으며, 이는 데이터가 부족한 영역을 탐지할 수 있음을 검증했다.
• 상태-행동 공간 전반에 걸친 불확실성 추정치 분포는 애로우틱 및 엡스테믹 불확실성 간에 명확하게 구분되며 겹치지 않는 패턴을 보였으며, 이는 성공적인 분해를 뒷받침했다.
• 시스템은 엡스테믹 불확실성 기반 신뢰도 점수와 애로우틱 불확실성 기반 결과 변동성 추정치를 생성하여 임상 인터페이스에 통합하기 적합했다.
• 이 방법은 높은 애로우틱 불확실성이 환자 결과의 본질적 랜덤성임을, 높은 엡스테믹 불확실성이 제한된 데이터로 인한 모델 불확실성임을 확인함으로써, 더 나은 임상 위험 평가를 가능하게 했다.