[논문 리뷰] An Optimal Policy for Patient Laboratory Tests in Intensive Care Units

Lifang Cheng, Niranjani Prasad외 1명|arXiv (Cornell University)|2018. 08. 14.

Hemodynamic Monitoring and Therapy참고 문헌 7인용 수 4

한 줄 요약

이 논문은 임상적 유용성, 비용, 위험을 균형 잡는 방식으로 중환자실(ICU) 환자에 대한 최적의 검사 순서 정책을 학습하는 배치 오프-정책 강화학습 프레임워크를 제안한다. 복합 보상 함수를 사용한 다목적 Q-반복을 통해 검사 빈도를 44% 감소시켰고(예: WBC), 평균적으로 검사 시기를 4시간 이상 앞당겨 정보 수확을 높이고 조기에 치료를 시작할 수 있도록 한다.

ABSTRACT

Laboratory testing is an integral tool in the management of patient care in hospitals, particularly in intensive care units (ICUs). There exists an inherent trade-off in the selection and timing of lab tests between considerations of the expected utility in clinical decision-making of a given test at a specific time, and the associated cost or risk it poses to the patient. In this work, we introduce a framework that learns policies for ordering lab tests which optimizes for this trade-off. Our approach uses batch off-policy reinforcement learning with a composite reward function based on clinical imperatives, applied to data that include examples of clinicians ordering labs for patients. To this end, we develop and extend principles of Pareto optimality to improve the selection of actions based on multiple reward function components while respecting typical procedural considerations and prioritization of clinical goals in the ICU. Our experiments show that we can estimate a policy that reduces the frequency of lab tests and optimizes timing to minimize information redundancy. We also find that the estimated policies typically suggest ordering lab tests well ahead of critical onsets--such as mechanical ventilation or dialysis--that depend on the lab results. We evaluate our approach by quantifying how these policies may initiate earlier onset of treatment.

연구 동기 및 목표

• ICU에서 과도하고 비용이 많이 드는 검사 순서 문제를 해결함으로써 환자에게 유해를 초래하고 의료비를 증가시킨다는 임상 문제를 다룸.
• 정보 수확, 비용, 임상적 위험을 균형 잡는 데이터 기반의 해석 가능한 정책을 개발하여 검사 시기와 선택을 최적화함.
• 실제 임상의의 순서 패턴을 학습함으로써 임상적 의사결정을 향상시키고 정보 중복을 최소화함.
• 학습된 정책이 임상의보다 조기에 검사를 추천할 수 있는지 평가함으로써 조기에 치료를 시작할 수 있도록 함.
• 오프-정책 강화학습을 활용하여 임상의가 참여하는 ICU 치료 환경에 배치 가능한 저위험 의사결정 지원 시스템을 제공함.

제안 방법

• 프레임워크는 환자의 궤적을 마르코프 결정 과정(MDP)으로 모델링하며, 다중 출력 가우시안 프로세스(MOGPs)를 사용해 희박하고 비정기적으로 샘플링된 시간 시리즈에서 상태 표현을 도출함.
• 복합 보상 함수는 다중 임상 목표를 통합함: 기대 정보 수확, 검사 비용, 후속 치료 시기 영향.
• 기존 임상의 순서 데이터에서 학습하기 위해 배치 오프-정책 강화학습을 다목적 피팅된 Q-반복(MO-FQI)을 통해 정책을 학습함.
• 스칼라화가 필요 없이 다수의 보상 구성 요소 간의 경쟁 목표를 균형 잡는 행동을 선택하기 위해 파레토 최적성 원리를 확장함.
• 오프-정책 평가에서는 배포 없이 테스트 데이터에서 정책 성능을 평가하기 위해 가중치 기반 중요도 샘플링(WIS) 추정기를 사용함.
• 모델은 향후 환자 상태를 추정하고 불확실성 정량화를 통해 검사 값을 예측함으로써 사전 검사 추천이 가능하도록 함.

실험 결과

연구 질문

• RQ1 강화학습 프레임워크가 과도한 검사를 줄이면서도 임상적 유용성을 유지하거나 향상시키는 검사 순서 정책을 학습할 수 있는가?
• RQ2 학습된 정책이 임상의보다 얼마나 일찍 검사를 추천할 수 있는가? 이를 통해 조기에 치료를 시작할 수 있는가?
• RQ3 정책이 추천하는 검사의 정보 수확은 임상의가 주문한 검사와 비교해 어떻게 다른가?
• RQ4 복합 보상 함수를 통해 비용, 위험, 진단 유용성과 같은 경쟁 목표를 균형 잡을 수 있는가?
• RQ5 특히 WBC와 락타트와 같이 빈도가 높은 검사에 대해 현재 임상 실무와 비교해 총 검사 수를 줄일 수 있는가?

주요 결과

• MO-FQI 정책은 임상의가 주문한 방식과 비교해 총 검사 추천 수를 44% 감소시켰으며, WBC의 경우 12,358건의 추천에 그치는 반면 실제 주문은 22,172건이었다.
• lactate는 덜 자주 주문되는 편이지만, 정책은 여전히 검사 빈도를 27% 감소시켰다.
• WBC의 경우 검사 추천과 치명적인 치료 시작 사이의 평균 시간은 9.1시간에서 13.2시간으로 증가하여 조기 발견 및 조치 가능성을 시사한다.
• 정책이 추천한 검사의 평균 정보 수확은 임상의가 주문한 검사보다 유의미하게 높았다: WBC의 경우 1.53 대 0.69, BUN의 경우 3.39 대 1.63.
• 모든 네 가지 검사에 대해 세 가지 평가 지표—주문 수 감소, 정보 수확 증가, 조기 치료 시기—에서 정책가 임상의를 항상 앞섰다.
• 정책은 평균적으로 임상의보다 4.5시간 일찍 검사를 추천했으며, 특히 WBC, 크레아티닌, BUN에 대해 임상 악화를 더 빨리 예측할 수 있었다.