[论文解读] How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks.

Eli A. Meirom, Haggai Maron+2 more|arXiv (Cornell University)|Oct 11, 2020

Complex Network Analysis Techniques参考文献 57被引用 7

一句话总结

该论文提出RLGN，一种利用图神经网络的强化学习框架，用于在动态、部分可观测的图过程（如流行病或虚假信息传播）中优先进行节点检测，从而实现高效控制。在相同资源下，其使健康个体数量增加25%，控制率提高30%，相比非学习基线方法提升2.5倍。

ABSTRACT

We consider the problem of monitoring and controlling a partially-observed dynamic process that spreads over a graph. This problem naturally arises in contexts such as scheduling virus tests or quarantining individuals to curb a spreading epidemic; detecting fake news spreading on online networks by manually inspecting posted articles; and targeted marketing where the objective is to encourage the spread of a product. Curbing the spread and constraining the fraction of infected population becomes challenging when only a fraction of the population can be tested or quarantined. To address this challenge, we formulate this setup as a sequential decision problem over a graph. In face of an exponential state space, combinatorial action space and partial observability, we design RLGN, a novel tractable Reinforcement Learning (RL) scheme to prioritize which nodes should be tested, using Graph Neural Networks (GNNs) to rank the graph nodes. We evaluate this approach in three types of social-networks: community-structured, preferential attachment, and based on statistics from real cellular tracking. RLGN consistently outperforms all baselines in our experiments. It suggests that prioritizing tests using RL on temporal graphs can increase the number of healthy people by $25\%$ and contain the epidemic $30\%$ more often than supervised approaches and $2.5 imes$ more often than non-learned baselines using the same resources.

研究动机与目标

• 解决在图上动态、部分可观测过程（如流行病或虚假信息传播）中进行控制的挑战。
• 设计一种可处理图结构决策问题中指数级状态空间和组合动作空间的可 tractable 强化学习方法。
• 实时优先选择需检测或隔离的节点，以在资源有限的情况下最小化传播。
• 在流行病控制和人群健康保护方面超越监督学习与非学习基线方法。

提出的方法

• 将节点检测与干预问题形式化为动态图上的序贯决策过程。
• 采用图神经网络（GNN）对节点进行嵌入并基于其对疾病传播的潜在影响进行排序。
• 使用强化学习（RL）训练策略，以选择高优先级节点进行检测或隔离。
• 通过学习时间图动态和间接观测来处理部分可观测性。
• 优化长期结果，如最小化最终感染规模并最大化健康人群数量。
• 使用基于干预后流行病最终状态的延迟奖励来训练RL智能体。

实验结果

研究问题

• RQ1 强化学习智能体能否在部分可观测的动态图过程中有效优先选择节点检测，以减少流行病传播？
• RQ2 基于强化学习的方法在流行病控制方面与监督学习和非学习基线相比表现如何？
• RQ3 GNN在复杂、现实世界图结构中的节点优先排序方面能提升多少？
• RQ4 RLGN框架是否能在包括合成网络和真实细胞追踪数据在内的多种网络拓扑上实现泛化？

主要发现

• 在相同检测资源下，RLGN相比基线方法使健康个体数量增加25%。
• 该方法相比监督学习基线，能多30%地实现流行病控制。
• 在相同干预预算下，RLGN相比非学习基线的控制成功率高出2.5倍。
• 该框架在三类网络结构（社区结构、优先连接网络和真实细胞追踪网络）中均持续优于所有基线。
• 即使在部分可观测性和组合动作空间下，基于GNN的节点排序也能实现有效优先排序。