[论文解读] Deep Reinforcement Learning for Control of Probabilistic Boolean Networks

Georgios Papagiannis, Sotiris Moschoyiannis|arXiv (Cornell University)|Sep 7, 2019

Gene Regulatory Network Analysis被引用 4

一句话总结

该论文提出了一种基于双Deep Q-Network（Double Deep Q-Networks）与优先经验回放（Prioritized Experience Replay）的无模型深度强化学习方法，用于在不依赖底层网络动力学知识的情况下，控制概率布尔网络（Probabilistic Boolean Networks, PBNs）向目标状态（如有利吸引子）演化。该方法在合成及真实生物PBN中成功在有限时间步内学习到有效的控制策略，证明了其在系统生物学与基因调控网络干预中的可行性。

ABSTRACT

Probabilistic Boolean Networks (PBNs) were introduced as a computational model for the study of complex dynamical systems, such as Gene Regulatory Networks (GRNs). Controllability in this context is the process of making strategic interventions to the state of a network in order to drive it towards some other state that exhibits favourable biological properties. In this paper we study the ability of a Double Deep Q-Network with Prioritized Experience Replay in learning control strategies within a finite number of time steps that drive a PBN towards a target state, typically an attractor. The control method is model-free and does not require knowledge of the network's underlying dynamics, making it suitable for applications where inference of such dynamics is intractable. We present extensive experiment results on two synthetic PBNs and the PBN model constructed directly from gene-expression data of a study on metastatic-melanoma.

研究动机与目标

• 开发一种无需显式掌握网络底层动力学知识的无模型控制策略，用于概率布尔网络（Probabilistic Boolean Networks, PBNs）。
• 解决控制复杂生物网络（如基因调控网络，Gene Regulatory Networks, GRNs）向有利状态（如无病态吸引子）演化的挑战。
• 评估深度强化学习在有限时间步内学习PBNs中最优控制策略的有效性。
• 在合成PBNs与基于转移性黑色素瘤基因表达数据构建的真实PBN上，验证该方法的适用性。

提出的方法

• 该方法采用双Deep Q-Network（DDQN）结合优先经验回放，以无模型方式学习最优控制策略。
• 智能体通过选择动作（基因干预）与PBN环境交互，推动网络状态向目标吸引子演化。
• 通过优先化处理的经验回放机制，聚焦于时序差分误差较大的转移样本，从而提升样本效率。
• 使用存储状态-动作-奖励-下一状态元组的回放缓冲区训练Q网络，通过最小化贝尔曼误差来更新Q值函数。
• 该算法设计为在有限时间范围内收敛，适用于实际的生物干预场景。
• 无需显式建模PBN的转移动力学，使其适用于动力学推断不可行的场景。

实验结果

研究问题

• RQ1 深度强化学习是否能够在不掌握网络动力学先验知识的情况下，学习到有效的概率布尔网络（PBNs）控制策略？
• RQ2 双Deep Q-Network结合优先经验回放在有限时间步内，驱动PBN向目标吸引子状态演化的性能如何？
• RQ3 该方法在合成PBNs与基于转移性黑色素瘤基因表达数据构建的真实生物PBN上的表现如何？
• RQ4 与传统控制方法相比，该无模型方法在复杂随机网络中的样本效率与收敛性表现如何？

主要发现

• 所提方法成功在有限时间步内学习到控制策略，使合成PBN向目标吸引子演化，证明了在无动力学知识前提下的有效学习能力。
• 在基于真实基因表达数据构建的转移性黑色素瘤PBN模型中，该方法成功收敛至有利吸引子，显示出潜在的治疗干预价值。
• 优先经验回放显著提升了学习稳定性与样本效率，表现为更快的收敛速度。
• 双Deep Q-Network架构降低了Q值估计中的过估计偏差，从而实现了更可靠的策略学习。
• 无模型方法在不同PBN结构中均表现出鲁棒性，包括高随机性与复杂吸引子结构的网络。
• 该方法在中等规模PBN中展现出可扩展性，成功控制策略在合理数量的训练回合内被学习到。