[论文解读] Dynamic Control of Service Systems with Returns: Application to Design of Post-Discharge Hospital Readmission Prevention Programs

Timothy C. Y. Chan, Simon Huang+1 more|arXiv (Cornell University)|Feb 28, 2022

Advanced Queuing Theory Analysis被引用 4

一句话总结

本文提出了一种针对具有返回行为的排队系统（如出院后再次入院）的动态控制策略，其中干预强度可按凸成本函数调整以降低返回概率。通过流体近似方法，该研究刻画了基于拥堵程度动态调节干预强度的最优策略，在长期平均成本上最多可降低25.4%，在有限时域成本上最多可降低33.7%，优于固定高强度干预策略。

ABSTRACT

We study a control problem for queueing systems where customers may return for additional episodes of service after their initial service completion. At each service completion epoch, the decision maker can choose to reduce the probability of return for the departing customer but at a cost that is convex increasing in the amount of reduction in the return probability. Other costs are incurred as customers wait in the queue and every time they return for service. Our primary motivation comes from post-discharge Quality Improvement (QI) interventions (e.g., follow up phone-calls, appointments) frequently used in a variety of healthcare settings to reduce unplanned hospital readmissions. Our objective is to understand how the cost of interventions should be balanced with the reductions in congestion and service costs. To this end, we consider a fluid approximation of the queueing system and characterize the structure of optimal long-run average and bias-optimal transient control policies for the fluid model. Our structural results motivate the design of intuitive surge protocols whereby different intensities of interventions (corresponding to different levels of reduction in the return probability) are provided based on the congestion in the system. Through extensive simulation experiments, we study the performance of the fluid policy for the stochastic system and identify parameter regimes where it leads to significant cost savings compared to a fixed long-run average optimal policy that ignores holding costs and a simple policy that uses the highest level of intervention whenever the queue is non-empty. In particular, we find that in a parameter regime relevant to our motivating application, dynamically adjusting the intensity of interventions could result in up to 25.4% reduction in long-run average cost and 33.7% in finite-horizon costs compared to the simple aggressive policy.

研究动机与目标

• 理解如何在具有返回行为的排队系统中，最优平衡术后干预成本与再入院及拥堵成本之间的权衡。
• 建立并分析干预成本与因减少返回和队列长度而带来的系统整体节约之间的权衡关系，特别是在医疗场景中。
• 开发一种动态控制策略，根据实时系统拥堵情况调整干预强度，从而在成本效率上优于静态或固定强度策略。
• 刻画随机排队系统具有返回行为的流体近似模型下，长期平均与瞬态（偏差最优）控制策略的结构特征。
• 评估流体策略在随机环境下的性能，并识别动态调节在哪些参数范围内可带来显著成本节约。

提出的方法

• 为具有返回行为的多服务器排队系统（Erlang-R模型）构建流体控制问题，其中客户在服务完成后可能返回。
• 将干预成本建模为返回概率降低量的凸递增函数，从而实现干预强度的可变控制。
• 应用偏差最优性与庞特里亚金极小值原理，推导长期平均与瞬态系统动态下的最优控制策略。
• 采用分段线性干预成本函数，推导出基于状态的策略区域，每个区域指定不同的干预强度。
• 通过大量模拟实验验证流体策略在随机到达与服务时间下的性能，与固定强度基准进行对比。
• 在不同持有成本、初始系统状态和利用率水平下评估性能，涵盖有限时域与长期平均成本指标。

实验结果

研究问题

• RQ1 在具有返回行为的排队系统中，应如何根据系统拥堵情况动态调整干预强度，以最小化长期平均成本与有限时域成本？
• RQ2 当干预成本为凸函数且依赖于返回概率的降低量时，最优控制策略的结构特性是什么？
• RQ3 与忽略拥堵信息的固定强度或激进策略相比，动态干预策略能在多大程度上降低系统总成本？
• RQ4 持有成本与系统初始状态如何影响动态干预策略在瞬态系统行为中的成本效益？
• RQ5 随机排队系统流体近似能否为现实世界应用（如医院再入院预防）提供近似最优策略？

主要发现

• 基于拥堵程度动态调节干预强度，可使长期平均成本相比仅在队列非空时使用最大干预的简单激进策略最多降低25.4%。
• 在有限时域设置下，动态流体策略相比同一激进基准可实现最高33.7%的成本降低，尤其在从高度拥堵初始状态开始时更为显著。
• 最优策略结构将状态空间划分为若干区域，基于干预成本函数的分段特性，每个区域对应不同的干预强度水平。
• 即使在放宽模型假设（如时变到达率与较低利用率）的情况下，流体策略在所有测试场景中仍持续优于或匹配基准策略。
• 直接成本（干预与再入院）与平均队列长度之间的权衡曲线呈现凸性，表明干预成本的小幅增加可带来队列长度与拥堵的显著减少。
• 该策略对“内容”状态（系统拥堵的代理指标）的预测误差具有鲁棒性，因为干预水平对估计拥堵水平的小幅偏差相对不敏感。