[论文解读] Stochastic Optimal Control of Epidemic Processes in Networks

Lars Lorch, Abir De+4 more|arXiv (Cornell University)|Oct 30, 2018

Mental Health Research Topics参考文献 17被引用 6

一句话总结

本文提出了一种新颖的随机最优控制框架，通过将个体的感染、恢复和治疗事件建模为标记时间点过程（MTPPs），并将控制问题形式化为带跳变的随机微分方程（SDE），以减轻网络中的疫情传播。该方法计算随时间和状态变化的治疗强度，以最小化感染个体数量，在使用实时、细粒度疫情动态的合成实验中，其性能优于基线策略。

ABSTRACT

We approach the development of models and control strategies of susceptible-infected-susceptible (SIS) epidemic processes from the perspective of marked temporal point processes and stochastic optimal control of stochastic differential equations (SDEs) with jumps. In contrast to previous work, this novel perspective is particularly well-suited to make use of fine-grained data about disease outbreaks and lets us overcome the shortcomings of current control strategies. Our control strategy resorts to treatment intensities to determine who to treat and when to do so to minimize the amount of infected individuals over time. Preliminary experiments with synthetic data show that our control strategy consistently outperforms several alternatives. Looking into the future, we believe our methodology provides a promising step towards the development of practical data-driven control strategies of epidemic processes.

研究动机与目标

• 解决确定性和平均场模型在捕捉个体层面疫情动态与控制方面的局限性。
• 开发一种利用细粒度疫情数据的、数据驱动的、实时的疫情缓解控制策略。
• 通过实现动态、事件驱动的治疗决策，克服离线、图论控制策略的次优性能。
• 建模现实的治疗动态，其中个体无法瞬时切换治疗方式，且恢复率受到约束。
• 将控制问题形式化为基于带跳变的SDE和MTPPs的随机最优控制任务，实现精确的状态追踪和最优干预时机。

提出的方法

• 使用标记时间点过程（MTPPs）对个体的疫情状态（易感、感染、治疗中）进行建模，用于描述感染、恢复和治疗事件。
• 通过带跳变的随机微分方程（SDEs）表示系统动态，将状态转移建模为跳跃过程。
• 基于局部邻域状态（感染和治疗中的邻居）定义感染、恢复和治疗的强度函数，整合疾病特异性参数。
• 将控制问题形式化为随机最优控制任务，以最小化随时间推移的感染个体数量，使用代价到目标函数和汉密尔顿-雅可比-贝尔曼（HJB）方程。
• 通过在每个状态变化时求解凸优化问题（线性规划），推导出闭式最优策略，确保最少的治疗干预。
• 实现一种在线算法，在每次状态转移后实时重新计算治疗强度，使用拒绝采样或叠加法调整计划中的治疗事件。

实验结果

研究问题

• RQ1 基于MTPPs和带跳变的SDE的随机最优控制框架能否有效建模网络中个体层面的疫情动态？
• RQ2 所提出的动态、事件驱动控制策略在减少疫情传播方面与静态或离线控制策略相比表现如何？
• RQ3 该框架在多大程度上能利用关于感染和恢复的细粒度、实时数据来提升控制性能？
• RQ4 在现实约束（如非瞬时治疗切换）下，治疗强度与疫情缓解之间的权衡是什么？
• RQ5 能否通过凸优化高效求解最优策略，实现实时计算并支持实际部署？

主要发现

• 所提出的随机最优控制框架在合成疫情模拟中始终优于基线控制策略，有效减少了随时间推移的感染个体数量。
• 该方法支持实时、自适应的治疗决策，能够动态响应感染和恢复事件，提升控制精度。
• 最优治疗策略通过凸优化问题（线性规划）推导得出，确保计算效率和可扩展性。
• 该框架考虑了现实的治疗约束，如非瞬时切换和受限的恢复率，而先前的方法通常忽略这些因素。
• HJB方程的解给出了最优治疗强度的闭式表达式，支持在线实现且计算开销极低。
• 通过仅在状态变量发生变化时重新计算控制强度，该算法保持了计算可行性，显著降低了运行时成本。