[论文解读] A Microscopic Epidemic Model and Pandemic Prediction Using Multi-Agent Reinforcement Learning

Changliu Liu|arXiv (Cornell University)|Apr 27, 2020

COVID-19 epidemiological studies参考文献 5被引用 9

一句话总结

本文提出了一种微观多智能体强化学习模型，通过建模个体智能体的活动决策及其对疾病传播的影响，模拟疫情传播过程。通过博弈论优化，表明自利智能体会产生负外部性，因此需要政策干预以实现曲线平缓，其预测结果通过在不同活动水平下的模拟轨迹得到验证。

ABSTRACT

This paper introduces a microscopic approach to model epidemics, which can explicitly consider the consequences of individual's decisions on the spread of the disease. We first formulate a microscopic multi-agent epidemic model where every agent can choose its activity level that affects the spread of the disease. Then by minimizing agents' cost functions, we solve for the optimal decisions for individual agents in the framework of game theory and multi-agent reinforcement learning. Given the optimal decisions of all agents, we can make predictions about the spread of the disease. We show that there are negative externalities in the sense that infected agents do not have enough incentives to protect others, which then necessitates external interventions to regulate agents' behaviors. In the discussion section, future directions are pointed out to make the model more realistic.

研究动机与目标

• 开发一种微观流行病模型，以捕捉个体决策及其对疾病传播的影响。
• 分析智能体的自利行为如何因负外部性而导致次优结果。
• 利用多智能体强化学习与博弈论，从个体成本最小化决策预测系统层面的疾病传播。
• 探讨外部干预（如成本调整）如何改变系统动态并降低感染率。
• 识别未来研究方向，以提升模型的现实性，包括异质性智能体、信息不对称性以及真实世界数据验证。

提出的方法

• 每个智能体被建模为二元状态（易感或感染），并选择一个活动水平 $ u_i \in [0,1] $，表示预期每日互动次数。
• 智能体 $ i $ 与 $ j $ 之间发生互动的概率建模为 $ \min\{u_i, u_j\} $，以捕捉相互依赖的活动特性。
• 智能体通过多智能体强化学习最小化一个成本函数，该函数平衡健康保护（较低活动）与社交参与（较高活动），最优决策由此推导得出。
• 系统动态在离散时间步长（天）上进行模拟，跟踪各轮次中感染智能体数量 $ m_k $。
• 通过分析纳什均衡行为，预测在自优化智能体决策下的稳态感染轨迹。
• 通过成本函数调整建模外部干预，模拟封锁或激励等政策影响。

实验结果

研究问题

• RQ1 个体智能体的自利活动选择如何影响人群中的整体疫情传播？
• RQ2 当感染智能体未将自身对他人造成的风险内部化时，负外部性在流行病动态中起什么作用？
• RQ3 多智能体强化学习能否准确预测基于个体成本最小化行为的系统级感染轨迹？
• RQ4 在自优化智能体行为下，外部干预（如成本调整）在缓解失控疾病传播方面的有效性如何？
• RQ5 为使模型更具现实性，需进行哪些改进，包括异质性智能体、潜伏期以及信息不对称性？

主要发现

• 感染智能体缺乏充分激励以降低活动水平，导致负外部性，从而加速疾病传播。
• 在自优化行为下，系统达到纳什均衡，感染轨迹趋于稳定，但感染水平较高。
• 高活动水平（$ u_i = 10/M $）导致感染迅速增长，而低活动水平（$ u_i = 1/M $）则导致传播较慢，且在后续轮次中轨迹趋于平缓。
• 当关闭探索机制（$ \epsilon = 0 $）时，系统轨迹变为水平，且 $ m_k \equiv 1 $，表明已收敛至稳定均衡。
• 模型表明，成本调整可有效改变系统动态，提示政策干预对于纠正个体激励至关重要。
• 模型预测与预期趋势一致：较高活动水平导致更快、更严重的疫情爆发，而较低活动水平则减缓传播。