[论文解读] Knowledge Infused Policy Gradients for Adaptive Pandemic Control

Kaushik Roy, Qi Zhang+2 more|arXiv (Cornell University)|Feb 11, 2021

Advanced Bandit Algorithms Research参考文献 15被引用 4

一句话总结

本文提出知识注入策略梯度（KIPG），一种将结构化公共卫生知识（如封锁政策的软约束与硬约束）融入自适应疫情控制的强化学习框架。通过使用核化聚合方法建模非齐次、关联性特征，并施加功能性约束，KIPG 实现了样本高效、可解释的策略学习，在模拟疫情中优于无知识感知基线模型，有效平衡了健康与经济后果。

ABSTRACT

COVID-19 has impacted nations differently based on their policy implementations. The effective policy requires taking into account public information and adaptability to new knowledge. Epidemiological models built to understand COVID-19 seldom provide the policymaker with the capability for adaptive pandemic control (APC). Among the core challenges to be overcome include (a) inability to handle a high degree of non-homogeneity in different contributing features across the pandemic timeline, (b) lack of an approach that enables adaptive incorporation of public health expert knowledge, and (c) transparent models that enable understanding of the decision-making process in suggesting policy. In this work, we take the early steps to address these challenges using Knowledge Infused Policy Gradient (KIPG) methods. Prior work on knowledge infusion does not handle soft and hard imposition of varying forms of knowledge in disease information and guidelines to necessarily comply with. Furthermore, the models do not attend to non-homogeneity in feature counts, manifesting as partial observability in informing the policy. Additionally, interpretable structures are extracted post-learning instead of learning an interpretable model required for APC. To this end, we introduce a mathematical framework for KIPG methods that can (a) induce relevant feature counts over multi-relational features of the world, (b) handle latent non-homogeneous counts as hidden variables that are linear combinations of kernelized aggregates over the features, and (b) infuse knowledge as functional constraints in a principled manner. The study establishes a theory for imposing hard and soft constraints and simulates it through experiments. In comparison with knowledge-intensive baselines, we show quick sample efficient adaptation to new knowledge and interpretability in the learned policy, especially in a pandemic context.

研究动机与目标

• 解决疫情控制中自适应、可解释、知识感知强化学习的缺失问题，其中政策需在公共健康与经济韧性之间取得平衡。
• 克服先前知识注入方法在处理非齐次特征计数、部分可观测性及结构化专家知识方面的局限性。
• 开发一种框架，将硬约束与软约束（如关闭高风险场所或谨慎封锁）作为功能性约束嵌入策略梯度过程。
• 通过学习结构化、线性基函数并实现透明的特征加权，确保策略可解释性，避免事后解释方法。
• 通过系统性约束注入，实现对新知识（如新出现的热点区域或更新指南）的快速适应，而无需从头开始训练。

提出的方法

• 将世界建模为多关系图，其中实体（如工作场所、商店）及其相互作用作为具有非齐次计数的特征表示。
• 使用核化聚合函数计算表示潜在非齐次特征计数（如热点区域中的人数）的隐藏变量，将其视为潜在状态。
• 将结构化的公共卫生知识作为功能性约束——包括硬约束（如强制关闭高互动区域）和软约束（如谨慎封锁）——注入策略梯度目标。
• 通过拉格朗日松弛方法将约束纳入策略梯度更新，实现奖励与约束满足的联合优化。
• 通过利用线性基函数与结构化输入表示，强化神经网络策略的平滑性与可解释性，确保人类可读的特征重要性。
• 在具有动态、非平稳条件及感染率部分可观测性的模拟疫情环境中应用该框架。

实验结果

研究问题

• RQ1 与标准强化学习相比，通过功能性约束实现知识注入是否能提升学习自适应疫情控制策略的样本效率？
• RQ2 同时整合软约束与硬约束（代表公共卫生指南）对策略性能与收敛速度有何影响？
• RQ3 该模型在保持可解释性的同时，能在多大程度上处理非齐次、关联性特征（如不同地点人数差异）？
• RQ4 能否通过将策略结构化为可解释基函数的线性组合，在学习过程中实现可解释性，而非依赖事后解释方法？
• RQ5 该模型如何在不发生灾难性遗忘或大量重训的情况下，适应新知识（如新热点区域或更新指南）？

主要发现

• KIPG 在引入新知识期间表现出显著的样本效率，能够有效学习有效的疫情控制策略。
• 与无知识感知基线相比，该模型实现了更快的收敛速度与更优的性能，尤其在平衡挽救生命与经济影响等相互冲突目标方面表现突出。
• 通过线性基函数直接学习到可解释的策略结构，使人类专家能够评估特征重要性并验证策略决策。
• 该框架通过优化过程中的功能性约束，成功处理了软约束（如谨慎封锁）与硬约束（如高风险场所强制关闭）的整合。
• 使用核化聚合处理潜在特征计数，使模型能够有效应对疫情动态中的部分可观测性与非平稳性。
• 输入层的策略权重与领域知识高度一致，表明智能体已学习到优先关注高风险地点与行为，符合公共卫生专家的预期。