[论文解读] Markovian And Non-Markovian Processes with Active Decision Making Strategies For Addressing The COVID-19 Epidemic

H. Eftekhari, Debasis Mukherjee+2 more|arXiv (Cornell University)|Aug 1, 2020

COVID-19 epidemiological studies参考文献 28被引用 5

一句话总结

本研究在部分可观测马尔可夫决策过程框架下，采用基于离散组分的模型，对2020年5月1日至8月31日期间美国六个州的COVID-19疫情优化主动干预策略（如封锁措施）。研究结果表明，只要持续佩戴口罩并保持社交距离，50天测试期内无需实施任何封锁措施，这是通过估计转移概率并进行策略模拟以最小化损失函数得出的结论。

ABSTRACT

We study and predict the evolution of Covid-19 in six US states from the period May 1 through August 31 using a discrete compartment-based model and prescribe active intervention policies, like lockdowns, on the basis of minimizing a loss function, within the broad framework of partially observed Markov decision processes. For each state, Covid-19 data for 40 days (starting from May 1 for two northern states and June 1 for four southern states) are analyzed to estimate the transition probabilities between compartments and other parameters associated with the evolution of the epidemic. These quantities are then used to predict the course of the epidemic in the given state for the next 50 days (test period) under various policy allocations, leading to different values of the loss function over the training horizon. The optimal policy allocation is the one corresponding to the smallest loss. Our analysis shows that none of the six states need lockdowns over the test period, though the no lockdown prescription is to be interpreted with caution: responsible mask use and social distancing of course need to be continued. The caveats involved in modeling epidemic propagation of this sort are discussed at length. A sketch of a non-Markovian formulation of Covid-19 propagation (and more general epidemic propagation) is presented as an attractive avenue for future research in this area.

研究动机与目标

• 开发一种基于随机建模的决策支持框架，以优化COVID-19疫情期间的公共卫生干预措施。
• 利用基于组分的动力学模型，对美国六个州的疫情演变进行建模，并基于估计的转移概率。
• 在部分可观测马尔可夫决策过程（POMDP）中应用主动决策策略（如封锁），以最小化定义的损失函数。
• 基于数据驱动的策略优化，评估在50天预测期内是否需要实施封锁措施。
• 探索非马尔可夫形式化在未来研究中对更准确地建模疫情传播的潜力。

提出的方法

• 采用离散组分模型来表示各州疾病进展，组分用于追踪易感者、感染者、康复者及其他流行病学状态。
• 从各州收集的40天真实世界COVID-19数据中估计组间转移概率，其中两个北部州从5月1日起开始，四个南部州从6月1日起开始。
• 该框架采用部分可观测马尔可夫决策过程（POMDP）来建模疾病状态的不确定性，并指导最优策略选择。
• 定义损失函数以量化不同策略结果的成本，包括健康、经济和社会影响，并在训练周期内实现最小化。
• 通过模拟各种干预分配（如封锁、无干预）并选择损失最低的策略，确定最优策略。
• 提出非马尔可夫形式化作为潜在扩展，以在未来疫情建模中更好地捕捉记忆效应和时变传播动态。

实验结果

研究问题

• RQ1 在50天预测期内，针对选定的美国州份，缓解COVID-19传播的最优主动干预策略（如封锁）是什么？
• RQ2 基于真实数据估计的转移概率如何影响不同策略情景下疫情轨迹的预测？
• RQ3 在多大程度上，部分可观测马尔可夫决策过程框架可用于最小化公共卫生决策中的复合损失函数？
• RQ4 在何种条件下，可在不实施封锁的情况下仍有效控制疫情传播，基于数据驱动的策略优化？
• RQ5 与传统马尔可夫方法相比，非马尔可夫模型如何提升疫情预测的准确性？

主要发现

• 在50天测试期内，所有六个美国州的最优策略均无需实施封锁，因为该策略最小化了定义的损失函数。
• 不建议实施封锁的结论依赖于持续遵守非药物干预措施，如佩戴口罩和保持社交距离。
• 模型预测基于40天的历史数据，各州的转移概率经估计后用于未来疫情预测。
• 本研究指出了在建模疫情传播方面存在的显著局限性，尤其涉及数据质量、未观测状态以及简化假设。
• 提出非马尔可夫形式化作为未来建模的更现实替代方案，能够捕捉时变和记忆驱动的传播模式。
• 结果强调了在决策框架中整合行为依从性和政策成本的重要性，以避免过度依赖限制性措施。