[论文解读] Deterministic particle flows for constraining stochastic nonlinear systems

Dimitra Maoutsa, Manfred Opper|arXiv (Cornell University)|Dec 10, 2021

Gene Regulatory Network Analysis参考文献 109被引用 6

一句话总结

本文提出了一种非迭代、确定性的粒子流方法，用于在各种约束条件下计算非线性随机系统中的最优控制。通过利用相互作用粒子估计前向概率流的对数梯度，该方法在无需路径采样的情况下推导出精确的漂移调整，从而实现对具有终端、瞬态或集体态约束的高维生物模型的高效且精确的干预。

ABSTRACT

Devising optimal interventions for constraining stochastic systems is a challenging endeavour that has to confront the interplay between randomness and nonlinearity. Existing methods for identifying the necessary dynamical adjustments resort either to space discretising solutions of ensuing partial differential equations, or to iterative stochastic path sampling schemes. Yet, both approaches become computationally demanding for increasing system dimension. Here, we propose a generally applicable and practically feasible non-iterative methodology for obtaining optimal dynamical interventions for diffusive nonlinear systems. We estimate the necessary controls from an interacting particle approximation to the logarithmic gradient of two forward probability flows evolved following deterministic particle dynamics. Applied to several biologically inspired models, we show that our method provides the necessary optimal controls in settings with terminal-, transient-, or generalised collective-state constraints and arbitrary system dynamics.

研究动机与目标

• 为解决在复杂约束下设计最小扰动以约束非线性随机系统的问题。
• 克服传统PDE离散化和迭代随机路径采样在高维系统中的计算局限性。
• 开发一种适用于终端、瞬态和广义集体态约束的通用最优控制方法。
• 实现在不依赖迭代随机采样或空间离散化PDE求解器的前提下，实用的基于样本的控制设计。

提出的方法

• 将最优控制问题重新表述为两个前向Fokker-Planck方程的问题，其解分别代表滤波密度和预测密度。
• 使用确定性粒子动力学传播概率流，避免了随机路径采样。
• 利用相互作用粒子近似估计两个前向流之间密度比的对数梯度。
• 应用机器学习中的变分推断技术，高效近似对数梯度。
• 基于时间反演SDE理论，将最优控制漂移表示为两个前向概率流之比的对数梯度。
• 采用确定性粒子流框架，在单次遍历中计算所需控制输入，无需迭代。

实验结果

研究问题

• RQ1 非迭代、确定性的基于粒子的方法能否在具有复杂约束的非线性随机系统中实现最优控制？
• RQ2 如何在不进行路径采样的情况下，高效估计两个前向概率流之比的对数梯度？
• RQ3 该方法在高维系统中相较于迭代随机采样或PDE离散化，性能提升程度如何？
• RQ4 该方法能否处理多种约束类型，包括终端、瞬态和广义集体态约束？
• RQ5 该方法在具有内在和外部噪声的生物相关非线性模型中是否具备鲁棒性和准确性？

主要发现

• 该方法在无需迭代采样的情况下，成功计算了在终端、瞬态和广义集体态约束下非线性扩散系统的最优控制。
• 与路径积分或PDE方法相比，确定性粒子流方法显著降低了计算成本，同时保持了高精度的控制设计。
• 该方法为最优漂移提供了精确的解析表达式，其形式为两个前向概率流之比的对数梯度。
• 在生物启发模型上的实验结果表明，该方法在满足复杂约束的同时，保持了最小的干预强度。
• 该方法避免了随机路径采样带来的不稳定性和高方差，从而在高维系统中实现了可靠的控制。
• 该框架具有通用性，适用于任意系统动力学，包括具有非线性漂移和扩散系数的系统。