[논문 리뷰] Deep Reinforcement Learning for Cost-Effective Medical Diagnosis

Yu Zheng, Yikuan Li외 4명|arXiv (Cornell University)|2023. 02. 20.

Machine Learning in Healthcare인용 수 13

한 줄 요약

이 논문은 SM-DDPO를 개발하여 불균형한 의료 데이터에 대해 F1를 극대화하고 검사 비용을 줄이면서 비용 인식형 Pareto 최적의 다이내믹 랩-테스트 패널 정책을 학습하는 반모델 기반의 딥 RL 프레임워크를 제시합니다. 이는 Pareto 프런트를 얻기 위한 보상 형태 정렬 듀얼리티를 제공하고 페르리틴 이상, AKI, 패혈증 작업에서 비용을 크게 감소시키며 최첨단 성능을 입증합니다.

ABSTRACT

Dynamic diagnosis is desirable when medical tests are costly or time-consuming. In this work, we use reinforcement learning (RL) to find a dynamic policy that selects lab test panels sequentially based on previous observations, ensuring accurate testing at a low cost. Clinical diagnostic data are often highly imbalanced; therefore, we aim to maximize the $F_1$ score instead of the error rate. However, optimizing the non-concave $F_1$ score is not a classic RL problem, thus invalidates standard RL methods. To remedy this issue, we develop a reward shaping approach, leveraging properties of the $F_1$ score and duality of policy optimization, to provably find the set of all Pareto-optimal policies for budget-constrained $F_1$ score maximization. To handle the combinatorially complex state space, we propose a Semi-Model-based Deep Diagnosis Policy Optimization (SM-DDPO) framework that is compatible with end-to-end training and online learning. SM-DDPO is tested on diverse clinical tasks: ferritin abnormality detection, sepsis mortality prediction, and acute kidney injury diagnosis. Experiments with real-world data validate that SM-DDPO trains efficiently and identifies all Pareto-front solutions. Across all tasks, SM-DDPO is able to achieve state-of-the-art diagnosis accuracy (in some cases higher than conventional methods) with up to $85\%$ reduction in testing cost. The code is available at [https://github.com/Zheng321/Deep-Reinforcement-Learning-for-Cost-Effective-Medical-Diagnosis].

연구 동기 및 목표

• 비용 효율적인 의료 진단을 다이내믹하게 검사 패널을 선택하여 촉진한다.
• 불균형 임상 데이터를 다루기 위해 F1 점수를 직접 최적화한다.
• 진단에서 비용과 정확도 간의 Pareto 프런트를 특성화하고 계산한다.
• 온라인 학습과 호환 가능한 확장 가능하고 엔드 투 엔드로 학습 가능한 프레임워크를 개발한다.

제안 방법

• 다이나믹 진단을 F1 최대화 및 비용 최소화를 목표로 하는 다목적 MDP로 공식화한다.
• F1 최적화를 보상 기반의 풀이 가능하고 계산 가능한 문제로 전환하기 위해 보상 형태 설계 및 미니맥스 듀얼리티를 사용한다.
• 세 가지 모듈로 구성된 SM-DDPO를 도입한다: 후상태 인코더(EMFlow 기반 임퓨터), 보상 근사를 위한 분류기, 그리고 동작 선택을 위한 패널 선택기.
• 상호 업데이트를 통한 반전적 학습으로 엔드 투 엔드 RL은 패널 선택기를, 감독 학습 업데이트는 분류기를 학습한다.
• 새로운 환자 및 질환에 온라인 적응이 가능한 엔드 투 엔드 학습을 가능하게 하는 학습을 구현한다.

실험 결과

연구 질문

• RQ1 불균형한 의료 데이터에서 RL에서 F1을 직접 최적화할 수 있는가?
• RQ2 다이나믹 진단 정책에서 비용과 정확도 간의 Pareto 프런트를 어떻게 특성화하고 학습할 수 있는가?
• RQ3 다이나믹한 테스트 선택 정책의 확장 가능한 엔드 투 엔드 학습을 위해 반모델 기반 접근이 효과적인가?
• RQ4 다이나믹한 테스트 선택 정책이 정적 또는 무작위 전략에 비해 더 우수한 정확도-비용 트레이드오프를 달성하는가?

주요 결과

모델	페리틴 F1	페리틴 AUROC	페리틴 비용	AKI F1	AKI AUROC	AKI 비용	패혈증 F1	패혈증 AUROC	패혈증 비용	전략
SM-DDPO_end2end	0.624	0.928	62	0.495	0.795	97	0.562	0.845	90	다이나믹
SM-DDPO_pretrained	0.607	0.925	80	0.519	0.789	90	0.567	0.836	85	다이나믹

• SM-DDPO는 페리틴, AKI, 패혈증 작업에서 F1 및 AUROC에서 최첨단 또는 경쟁력 있는 성능을 달성하면서 검사 비용을 크게 감소시킨다.
• 패혈증에서 SM-DDPO_end2end는 F1 0.562 및 AUROC 0.845를 달성하며 비용 절감이 최대 84%에 이른다.
• 페리틴에서 SM-DDPO_end2end는 F1 0.624 및 AUROC 0.928를 달성하고, 62 비용 단위로 높은 비용의 기준선과 비교해 이점을 보인다.
• AKI에서 SM-DDPO_end2end는 F1 0.495 및 AUROC 0.795를 달성하며 비용은 97로 전체 관찰 비용에 비해 현저히 낮다.
• 이 방법은 비용- F1 트레이드오프를 위한 Pareto 프런트를 계산할 수 있으며 엔드 투 엔드 온라인 학습을 지원한다.