[논문 리뷰] Dynamic Control of Service Systems with Returns: Application to Design of Post-Discharge Hospital Readmission Prevention Programs

Timothy C. Y. Chan, Simon Huang외 1명|arXiv (Cornell University)|2022. 02. 28.

Advanced Queuing Theory Analysis인용 수 4

한 줄 요약

이 논문은 후속 방문이 가능한 대기 시스템(예: 퇴원 후 재입원이 가능한 병원 시스템)에 대해, 재입원 확률을 낮추기 위해 간병 강도를 볼록 비용으로 조정할 수 있는 동적 제어 정책을 제안한다. 유체 근사법을 사용하여, 혼잡도에 따라 간병 강도를 동적으로 조절하는 최적 정책을 특성화하였으며, 고정된 공격적 정책 대비 장기 평균 비용은 최대 25.4% 감소하고 유한한 시간 간격 비용은 최대 33.7% 감소시킨다.

ABSTRACT

We study a control problem for queueing systems where customers may return for additional episodes of service after their initial service completion. At each service completion epoch, the decision maker can choose to reduce the probability of return for the departing customer but at a cost that is convex increasing in the amount of reduction in the return probability. Other costs are incurred as customers wait in the queue and every time they return for service. Our primary motivation comes from post-discharge Quality Improvement (QI) interventions (e.g., follow up phone-calls, appointments) frequently used in a variety of healthcare settings to reduce unplanned hospital readmissions. Our objective is to understand how the cost of interventions should be balanced with the reductions in congestion and service costs. To this end, we consider a fluid approximation of the queueing system and characterize the structure of optimal long-run average and bias-optimal transient control policies for the fluid model. Our structural results motivate the design of intuitive surge protocols whereby different intensities of interventions (corresponding to different levels of reduction in the return probability) are provided based on the congestion in the system. Through extensive simulation experiments, we study the performance of the fluid policy for the stochastic system and identify parameter regimes where it leads to significant cost savings compared to a fixed long-run average optimal policy that ignores holding costs and a simple policy that uses the highest level of intervention whenever the queue is non-empty. In particular, we find that in a parameter regime relevant to our motivating application, dynamically adjusting the intensity of interventions could result in up to 25.4% reduction in long-run average cost and 33.7% in finite-horizon costs compared to the simple aggressive policy.

연구 동기 및 목표

• 후속 방문이 가능한 대기 시스템에서 후속 간병 비용과 재입원 및 혼잡 비용 감소 간의 최적 균형을 이해하는 것.
• 의료 환경에서의 재입원 및 대기 길이 감소로 인한 전체 시스템의 이익과 간병 비용 간의 상호 교환 관계를 모델링하고 분석하는 것.
• 실시간 시스템 혼잡도에 따라 간병 강도를 조절하는 동적 제어 정책을 개발하여 정적 또는 고정 강도 정책보다 비용 효율성을 높이는 것.
• 후속 방문이 가능한 스토크래틱 대기 시스템의 유체 근사 모델에 대해 장기 평균 및 일시적(편향 최적) 제어 정책의 구조를 특성화하는 것.
• 스토크래틱 설정에서 유체 정책의 성능을 평가하고, 동적 조정이 상당한 비용 절감을 이끌어내는 데 유의미한 매개변수 영역을 규명하는 것.

제안 방법

• 고객이 서비스 완료 후 재입원할 수 있는 다중 서버 대기 시스템(에를랑드-R 모델)에 대해 유체 제어 문제를 수립한다.
• 재입원 확률 감소에 따라 증가하는 볼록 함수로 간병 비용을 모델링하여, 다양한 강도의 간병 제어를 가능하게 한다.
• 편향 최적성과 본트리아진의 최소 원리(최소 원리)를 적용하여 장기 평균 및 일시적 시스템 동역학에 대한 최적 제어 정책을 유도한다.
• 조각별 선형 간병 비용 함수를 사용하여 상태에 따라 결정되는 정책 영역을 도출하며, 각 영역은 별개의 간병 강도를 규정한다.
• 스토크래틱 도착 및 서비스 시간 하에서 광범위한 시뮬레이션 실험을 통해 유체 정책을 검증하고, 고정 강도 기준 정책과 비교한다.
• 보관 비용, 초기 시스템 상태, 이용률 수준 등 다양한 조건에서 성능을 평가하며, 특히 유한한 시간 간격 및 장기 평균 비용 지표를 포함한다.

실험 결과

연구 질문

• RQ1 후속 방문이 가능한 대기 시스템에서 장기 평균 비용과 유한한 시간 간격 비용을 최소화하기 위해 시스템 혼잡도에 따라 간병 강도를 어떻게 동적으로 조정해야 하는가?
• RQ2 간병 비용이 재입원 확률 감소에 따라 볼록 함수로 의존할 경우 최적 제어 정책에서 나타나는 구조적 특성은 무엇인가?
• RQ3 혼잡도를 忽시하는 고정 강도 또는 공격적 정책에 비해 동적 간병 정책이 전체 시스템 비용을 얼마나 줄일 수 있는가?
• RQ4 보관 비용과 초기 시스템 상태는 일시적 시스템 행동에서 동적 간병 전략의 비용 효율성에 어떻게 영향을 미치는가?
• RQ5 스토크래틱 대기 시스템의 유체 근사 모델이 실제 응용 사례(예: 병원 재입원 예방)에 대해 약간의 최적 정책을 도출할 수 있는가?

주요 결과

• 혼잡도에 따라 간병 강도를 동적으로 조정하면, 대기열이 비어 있지 않은 경우 항상 최대 간병 강도를 사용하는 단순 공격적 정책 대비 장기 평균 비용을 최대 25.4% 감소시킬 수 있다.
• 유한한 시간 간격 설정에서는 동일한 공격적 기준 정책 대비 동적 유체 정책이 최대 33.7% 낮은 비용을 기록하며, 특히 고도로 혼잡한 초기 상태에서 두드러진 성과를 보인다.
• 최적 정책의 구조는 간병 비용 함수의 조각별 성격에 따라 상태 공간을 영역으로 나누며, 각 영역은 별개의 간병 강도를 규정한다.
• 시간에 따라 변하는 도착률과 낮은 이용률 등의 완화된 모델 가정 조건 하에서도, 유체 정책은 모든 테스트 시나리오에서 기준 정책을 능가하거나 동등하게 유지한다.
• 직접 비용(간병 및 재입원 비용)과 평균 대기 길이 간의 트레이드오프 곡선은 볼록성을 보이며, 이는 간병 비용의 소량 증가로도 대기 길이와 혼잡도 감소에 상당한 기여가 가능함을 시사한다.
• 혼잡도를 나타내는 'Content' 상태에 대한 예측 오차에 대해 정책은 상대적으로 민감도가 낮아, 추정된 혼잡도 수준의 작은 변화에 거의 영향을 받지 않는다.