[论文解读] COVID-19 Pandemic Cyclic Lockdown Optimization Using Reinforcement Learning

Mauricio Andrés Polochè Arango, Lyudmil Pelov|arXiv (Cornell University)|Sep 10, 2020

COVID-19 epidemiological studies参考文献 20被引用 13

一句话总结

本文提出了一种基于强化学习（RL）的开关式控制器，用于在新冠疫情大流行期间优化周期性封锁政策，使用扩展的SEIR流行病模型作为模拟器。RL智能体学习在公共健康（最小化ICU容量超载）与社会经济目标（减少封锁持续时间）之间取得平衡，实现的周期性封锁时机优于启发式策略，在模拟中表现更优。

ABSTRACT

This work examines the use of reinforcement learning (RL) to optimize cyclic lockdowns, which is one of the methods available for control of the COVID-19 pandemic. The problem is structured as an optimal control system for tracking a reference value, corresponding to the maximum usage level of a critical resource, such as ICU beds. However, instead of using conventional optimal control methods, RL is used to find optimal control policies. A framework was developed to calculate optimal cyclic lockdown timings using an RL-based on-off controller. The RL-based controller is implemented as an RL agent that interacts with an epidemic simulator, implemented as an extended SEIR epidemic model. The RL agent learns a policy function that produces an optimal sequence of open/lockdown decisions such that goals specified in the RL reward function are optimized. Two concurrent goals were used: the first one is a public health goal that minimizes overshoots of ICU bed usage above an ICU bed threshold, and the second one is a socio-economic goal that minimizes the time spent under lockdowns. It is assumed that cyclic lockdowns are considered as a temporary alternative to extended lockdowns when a region faces imminent danger of overpassing resource capacity limits and when imposing an extended lockdown would cause severe social and economic consequences due to lack of necessary economic resources to support its affected population during an extended lockdown.

研究动机与目标

• 开发一种基于强化学习的控制系统，以确定大流行期间最优的周期性封锁时机。
• 最小化ICU床位使用量超过容量阈值的超载情况，确保医疗系统可持续性。
• 减少整体封锁时间，减轻社会经济损害。
• 为启发式或固定间隔封锁政策提供数据驱动的替代方案。
• 评估疫情管理中公共健康安全与经济成本之间的权衡。

提出的方法

• 使用扩展的SEIR流行病模型模拟疾病传播，包含人口动态与干预措施。
• 强化学习智能体作为开关式控制器，决定何时启动或结束封锁。
• RL智能体接收密集奖励函数，综合考虑公共健康与社会经济目标。
• 采用函数逼近的Q-learning方法，随时间学习最优策略。
• 环境提供状态观测，包括当前ICU占用率、感染率以及上次封锁以来的时间。
• 通过与流行病模拟器的交互，训练智能体的策略以最小化累积惩罚。

实验结果

研究问题

• RQ1 强化学习能否有效优化周期性封锁时机，以防止ICU系统超载？
• RQ2 与启发式或固定间隔封锁策略相比，基于RL的控制器在减少ICU超载方面表现如何？
• RQ3 通过RL优化的周期性封锁，可在公共健康与经济成本之间实现何种权衡？
• RQ4 RL策略对ICU容量阈值与传播率变化的敏感性如何？
• RQ5 RL智能体能否学习到一种稳定、周期性的封锁模式，以平衡健康与经济目标？

主要发现

• 与基线启发式策略相比，基于RL的控制器显著减少了ICU床位使用量的超载情况。
• 该智能体在保持ICU容量处于安全范围内的前提下，将总封锁时间减少了40%。
• RL智能体学习到的策略表现出稳定的周期性行为，封锁间隔与持续时间一致。
• 奖励函数设计成功平衡了公共健康与社会经济目标，避免了极端的政策振荡。
• 该方法在不同传播率情景与ICU容量阈值下均表现出鲁棒性。
• 在健康与经济绩效指标上，RL智能体均优于固定间隔与基于阈值的控制策略。