[论文解读] A Deep Q-learning/genetic Algorithms Based Novel Methodology For Optimizing Covid-19 Pandemic Government Actions

Luis Miralles‐Pechuán, Fernando Jiménez+2 more|arXiv (Cornell University)|May 15, 2020

COVID-19 epidemiological studies参考文献 37被引用 7

一句话总结

本文提出了一种混合深度强化学习与遗传算法的框架，以优化新冠疫情暴发期间政府行动，采用SEIR模型模拟疾病传播，并通过奖励系统平衡医疗容量与经济影响。在所有实验中，深度Q学习（DQL）均优于遗传算法（GA），尤其是在复杂约束条件下，实现了更优且稳定的动作序列优化，有效最小化感染人数与经济损害。

ABSTRACT

Whenever countries are threatened by a pandemic, as is the case with the COVID-19 virus, governments should take the right actions to safeguard public health as well as to mitigate the negative effects on the economy. In this regard, there are two completely different approaches governments can take: a restrictive one, in which drastic measures such as self-isolation can seriously damage the economy, and a more liberal one, where more relaxed restrictions may put at risk a high percentage of the population. The optimal approach could be somewhere in between, and, in order to make the right decisions, it is necessary to accurately estimate the future effects of taking one or other measures. In this paper, we use the SEIR epidemiological model (Susceptible - Exposed - Infected - Recovered) for infectious diseases to represent the evolution of the virus COVID-19 over time in the population. To optimize the best sequences of actions governments can take, we propose a methodology with two approaches, one based on Deep Q-Learning and another one based on Genetic Algorithms. The sequences of actions (confinement, self-isolation, two-meter distance or not taking restrictions) are evaluated according to a reward system focused on meeting two objectives: firstly, getting few people infected so that hospitals are not overwhelmed with critical patients, and secondly, avoiding taking drastic measures for too long which can potentially cause serious damage to the economy. The conducted experiments prove that our methodology is a valid tool to discover actions governments can take to reduce the negative effects of a pandemic in both senses. We also prove that the approach based on Deep Q-Learning overcomes the one based on Genetic Algorithms for optimizing the sequences of actions.

研究动机与目标

• 开发一种方法论，帮助政府在大流行期间选择最优的公共卫生行动序列。
• 平衡两个相互冲突的目标：最小化医疗系统超载与减少限制性措施带来的长期经济损害。
• 评估在不同约束条件下，深度Q学习（DQL）与遗传算法（GA）中哪一种更优地优化动作序列。
• 设计一种奖励系统，对医疗系统超载与持续时间过长的限制性措施施加惩罚。
• 在多个复杂度逐步提升的情景中测试该方法论，以评估其可扩展性与鲁棒性。

提出的方法

• SEIR（易感-潜伏-感染-康复）模型用于模拟SARS-CoV-2在人群中的传播动力学随时间的变化。
• 自定义奖励函数基于两个目标评估动作序列：确保ICU收治人数不超出容量，以及最小化限制性措施的持续时间。
• 深度Q学习（DQL）通过深度神经网络近似Q值，并应用贝尔曼方程，以学习最优动作策略。
• 遗传算法（GA）通过选择、交叉与变异操作，演化动作序列群体，以最大化累积奖励。
• 使用正则表达式约束确保动作序列遵循逻辑顺序：严格 → 较不严格 → 放松，对不符合规范的序列施加惩罚。
• 在三个复杂度逐步提升的情景中开展实验，包括更严格的约束与更长的规划时间范围。

实验结果

研究问题

• RQ1 混合DQL/GA方法是否能有效优化大流行期间的政府行动序列，以平衡公共健康与经济结果？
• RQ2 在优化多目标大流行应对政策方面，深度Q学习的性能与遗传算法相比如何？
• RQ3 添加结构化约束（如动作序列模式）在多大程度上提升了解决方案的稳定性和质量？
• RQ4 奖励系统复杂度的提升如何影响DQL与GA的收敛性与性能？
• RQ5 DQL对状态-动作依赖关系的建模能力是否导致其解决方案比GA的启发式搜索更稳定、表现更优？

主要发现

• 在所有三个实验情景中，深度Q学习（DQL）始终优于遗传算法（GA），在实验III中实现了1568.11的最高平均奖励。
• DQL的性能方差显著更低（标准差81.86），相比GA的61.13，表明其在复杂约束下具有更高的稳定性。
• 在实验III中，DQL达到最大奖励1688，而GA仅达-736，表明在高复杂度条件下存在显著的性能差距。
• DQL模型成功将感染水平维持在较低水平直至行动放松阶段，有效避免ICU超载，同时促进经济复苏。
• 最佳DQL解决方案仅包含一次动作转换，证实了该模型生成平滑、现实且稳定政策序列的能力。
• 奖励系统有效优先选择了既避免医疗系统超载又避免长期经济限制的序列，且DQL展现出更优的长期规划能力。