[论文解读] Dynamic Control of Stochastic Evolution: A Deep Reinforcement Learning Approach to Adaptively Targeting Emergent Drug Resistance

Dalit Engelhardt|arXiv (Cornell University)|Mar 27, 2019

Evolution and Genetic Dynamics被引用 12

一句话总结

该论文提出CelluDose，一种基于深度强化学习的自适应反馈控制系统，可动态调整药物剂量，以抑制随机、异质生物系统中出现的耐药细胞群。该方法在随机细胞增殖模型上进行训练，可在多种扰动下实现100%的耐药抑制成功率，并对参数不确定性表现出高度鲁棒性，在低剂量、高精度控制方面优于基线策略。

ABSTRACT

The challenge in controlling stochastic systems in which low-probability events can set the system on catastrophic trajectories is to develop a robust ability to respond to such events without significantly compromising the optimality of the baseline control policy. This paper presents CelluDose, a stochastic simulation-trained deep reinforcement learning adaptive feedback control prototype for automated precision drug dosing targeting stochastic and heterogeneous cell proliferation. Drug resistance can emerge from random and variable mutations in targeted cell populations; in the absence of an appropriate dosing policy, emergent resistant subpopulations can proliferate and lead to treatment failure. Dynamic feedback dosage control holds promise in combatting this phenomenon, but the application of traditional control approaches to such systems is fraught with challenges due to the complexity of cell dynamics, uncertainty in model parameters, and the need in medical applications for a robust controller that can be trusted to properly handle unexpected outcomes. Here, training on a sample biological scenario identified single-drug and combination therapy policies that exhibit a 100% success rate at suppressing cell proliferation and responding to diverse system perturbations while establishing low-dose no-event baselines. These policies were found to be highly robust to variations in a key model parameter subject to significant uncertainty and unpredictable dynamical changes.

研究动机与目标

• 开发一种稳健、自适应的控制策略，用于精准药物剂量控制，以应对异质生物系统中随机出现的耐药细胞群。
• 克服传统控制方法在处理高维、非线性且具有显著随机性的生物动力学系统时的局限性。
• 设计一种强化学习框架，能够在未见的参数变化和意外扰动下实现泛化，同时保持低剂量、高疗效的治疗。
• 建立一种经验证、安全且可泛化的动态药物剂量控制策略，可在实际医疗应用中被信赖。

提出的方法

• CelluDose采用深度确定性策略梯度（DDPG）强化学习方法，从细胞群动力学的随机模拟中学习自适应反馈控制策略。
• 状态空间包括不同表型亚群的细胞浓度和总体生长率，动作则代表在离散时间步长上的药物剂量调整。
• 设计了定制的奖励函数，以平衡治疗成功（群体抑制）、成本最小化（低药物剂量）以及对扰动的鲁棒性，对治疗失败施加惩罚，对持续抑制给予奖励。
• 特征工程包括对细胞计数进行对数变换以及对生长率进行归一化，以稳定训练并提升在多个数量级范围内的收敛性能。
• 演员-评论家架构采用残差连接和ReLU激活函数，输出层通过硬双曲正切函数截断以确保零剂量能力，并防止陷入次优策略。
• 探索通过参数调优的Ornstein-Uhlenbeck过程驱动，以在训练期间保持稳定性，目标网络通过软更新方式更新，τ=0.001。

实验结果

研究问题

• RQ1 深度强化学习智能体能否学习到一种稳健、自适应的反馈控制策略，以抑制随机、异质系统中出现的耐药细胞群？
• RQ2 所学习的策略在关键模型参数（如突变率和耐药水平）的未见变化下，泛化能力如何？
• RQ3 该方法能否在意外系统扰动下维持高治疗疗效，同时最小化药物剂量并避免治疗失败？
• RQ4 在高随机性生物环境中，为确保训练稳定和收敛，哪些奖励函数设计与网络结构选择是必要的？

主要发现

• CelluDose智能体在多种初始条件和系统扰动下，实现了100%的细胞增殖抑制成功率，包括意外出现的耐药性。
• 所学习的策略对关键模型参数（如突变率）的变化表现出高度鲁棒性，在显著不确定性下仍保持疗效。
• 该方法成功平衡了低剂量给药与有效抑制，确立了低剂量无事件的成功治疗基线。
• 在演员网络中增加一个额外的隐藏层，并在两个网络中采用更窄的层结构，显著提升了性能并防止了过拟合。
• 正确的特征重标定——即对细胞计数进行对数变换并归一化生长率——对于实现稳定高效的训练至关重要。
• 基于确定性下界分析的偏差初始化可防止训练初期陷入次优的零剂量策略，从而实现有效的探索。