[논문 리뷰] Clinician-in-the-Loop Decision Making: Reinforcement Learning with Near-Optimal Set-Valued Policies

Shengpu Tang, Aditya Modi외 2명|arXiv (Cornell University)|2020. 07. 24.

Health Systems, Economic Evaluations, Quality of Life인용 수 11

한 줄 요약

이 논문은 시간 차분 학습과 근사적으로 극대화하는 히우리즘을 사용하여, 의료 분야에서 근접한 등가 치료 행동을 식별하기 위해 집합가치 정책(SVPs)을 학습하는 모델 기반 강화학습 알고리즘을 제안한다. 이 방법은 임상적으로 의미 있는 행동 집합을 발견하여 근접 최적성을 유지하면서도 환자 선호도와 부작용을 고려한 임상의 개입이 가능한 의사결정을 가능하게 한다.

ABSTRACT

Standard reinforcement learning (RL) aims to find an optimal policy that identifies the best action for each state. However, in healthcare settings, many actions may be near-equivalent with respect to the reward (e.g., survival). We consider an alternative objective -- learning set-valued policies to capture near-equivalent actions that lead to similar cumulative rewards. We propose a model-free algorithm based on temporal difference learning and a near-greedy heuristic for action selection. We analyze the theoretical properties of the proposed algorithm, providing optimality guarantees and demonstrate our approach on simulated environments and a real clinical task. Empirically, the proposed algorithm exhibits good convergence properties and discovers meaningful near-equivalent actions. Our work provides theoretical, as well as practical, foundations for clinician/human-in-the-loop decision making, in which humans (e.g., clinicians, patients) can incorporate additional knowledge (e.g., side effects, patient preference) when selecting among near-equivalent actions.

연구 동기 및 목표

• 표준 강화학습이 보상 신호가 불완전할 경우 임상적으로 관련성이 있는 근접한 등가 치료법을 무시할 수 있는 한계를 해결한다.
• 임상 환경에서 다양한 약물 복용량 등 여러 행동이 유사한 생존 결과를 낳지만 부작용이나 환자 선호도에서 다를 수 있음을 인지한다.
• 단일 최적 행동이 아닌 근접한 등가 행동 집합을 반환하는 확장 가능한 모델 기반 알고리즘을 개발한다.
• 방향성 없는 사이클이 없는 그래프(DAG) 설정 하에서 이론적 수렴성 및 최적성 보장을 제공하며, 히우리즘 적응을 통해 비-DAG 환경으로 확장한다.
• 실제 임상 의사결정, 특히 MIMIC-III 데이터셋을 활용한 패혈증 치료에서 SVP의 실용적 유용성을 입증한다.

제안 방법

• 집합가치 정책(SVPs)을 상태에서 비어 있지 않은 행동 부분집합으로의 결정적 사상으로 정의하여 근접한 등가 선택지를 제공한다.
• 유사한 누적 보상 기대치를 갖는 행동을 식별하기 위해 근사적으로 극대화하는 행동 선택 히우리즘을 사용하는 모델 기반 시간 차분 학습 알고리즘을 제안한다.
• 근접 최적성의 임계값 파라미터 ζ를 도입하여, 가치 추정치의 차이가 ζ 이내인 행동들을 그룹화한다.
• 누적 보상 유사성 기반으로 반복적으로 행동 집합의 소속 관계를 업데이트하기 위해 부트스트랩을 통한 가치 함수 추정을 사용한다.
• 상태 추상화와 시간 인코딩(예: 방문 횟수)을 적용하여 비-마르코프 동역학을 이론적 보장을 갖는 DAG 유사 구조로 변환한다.
• 1,000개의 샘플을 사용한 부트스트랩을 통해 MIMIC-sepsis 데이터셋에서 가치 추정치와 정책 집합 크기의 표준 오차를 추정한다.

실험 결과

연구 질문

• RQ1 모델 기반 강화학습 알고리즘이 의료 의사결정에서 임상적으로 의미 있는 근접한 등가 행동 집합을 효과적으로 발견할 수 있는가?
• RQ2 제안된 알고리즘이 근접 최적성을 유지하면서도 행동 선택 시 임상의 또는 환자의 입력에 대한 유연성을 제공하는가?
• RQ3 특히 기저 건강 상태(V*(s))와 관련하여 근접한 등가 행동 집합은 다양한 환자 상태에서 어떻게 달라지는가?
• RQ4 알고리즘은 합성 환경(DAG 및 비-DAG)과 실제 임상 과제인 패혈증 관리에서 어떻게 성능을 발휘하는가?
• RQ5 임상의가 보상 외 요소(예: 부작용, 비용, 환자 선호도)를 고려해 근접한 등가 치료법 중에서 선택할 수 있도록, 이 프레임워크가 인간 중심 의사결정을 지원할 수 있는가?

주요 결과

• MIMIC-sepsis 데이터셋에서 알고리즘이 임상적으로 의미 있는 근접한 등가 행동 집합을 성공적으로 발견하였으며, 유사한 정맥액 및 혈관 수축제 복용량을 기반으로 행동들이 그룹화되었다.
• MIMIC-sepsis 과제에서 ζ = 0.05인 SVP는 테스트 세트 수익률 84.3 ± 0.63을 기록하여 기준선(73.1 ± 0.97)을 크게 앞서며 최적 정책(91.6 ± 0.31)에 근접하였다.
• 건강한 환자 상태(높은 V*(s) 값)에서는 평균적으로 더 큰 SVP(더 많은 근접한 등가 행동)를 보였으며, 이는 치료 선택에 따른 결과 민감도가 낮을수록 의사결정의 유연성이 증가함을 시사한다.
• 근접한 등가 행동 집합이 항상 복용량 공간에서 연속적이지는 않았으며, 이는 근접 최적성이 복용량의 가까움 그 자체가 아니라 결과 유사성에 의해 주로 결정됨을 나타낸다.
• 합성 DAG 및 비-DAG 환경 모두에서 알고리즘이 양호한 수렴성과 안정성을 보였으며, 근사적으로 극대화하는 히우리즘 덕분에 이론적 DAG 가정을 초월한 실용적 구현이 가능했다.
• 이 프레임워크는 근접한 등가 행동 집합을 제공함으로써 인간 중심 의사결정을 가능하게 하여, 임상의가 부작용, 비용, 환자 선호도와 같은 보상 외 요소를 통합할 수 있도록 한다.