[论文解读] Analysis and Control of Stochastic Systems using Semidefinite Programming over Moments

Andrew Lamperski, Khem Raj Ghusinga+1 more|arXiv (Cornell University)|Feb 1, 2017

Probabilistic and Robust Engineering Design参考文献 20被引用 4

一句话总结

本文提出了一种统一的凸优化框架，通过半定规划（SDP）对跳跃扩散系统中的矩进行边界估计并求解随机最优控制问题。通过将高阶矩视为线性辅助系统中的控制输入，该方法将凸最优控制问题建模为带有半定约束的问题，从而计算统计矩和最优成本的可证明上下界，实现保证的次优性间隙，并可构造可行控制器。

ABSTRACT

This paper develops a unified methodology for probabilistic analysis and optimal control design for jump diffusion processes defined by polynomials. For such systems, the evolution of the moments of the state can be described via a system of linear ordinary differential equations. Typically, however, the moments are not closed and an infinite system of equations is required to compute statistical moments exactly. Existing methods for stochastic analysis, known as closure methods, focus on approximating this infinite system of equations with a finite dimensional system. This work develops an alternative approach in which the higher order terms, which are approximated in closure methods, are viewed as inputs to a finite-dimensional linear control system. Under this interpretation, upper and lower bounds of statistical moments can be computed via convex linear optimal control problems with semidefinite constraints. For analysis of steady-state distributions, this optimal control problem reduces to a static semidefinite program. These same optimization problems extend automatically to stochastic optimal control problems. For minimization problems, the methodology leads to guaranteed lower bounds on the true optimal value. Furthermore, we show how an approximate optimal control strategy can be constructed from the solution of the semidefinite program. The results are illustrated using numerous examples.

研究动机与目标

• 解决具有多项式动态的随机系统中统计矩和最优控制策略的计算挑战，其中精确的矩方程是无限且不封闭的。
• 克服传统矩闭合方法仅提供点估计的局限性，转而提供矩的可证明上下界。
• 在基于半定规划的统一凸优化框架下，统一处理随机分析与最优控制问题。
• 提供最优控制成本的保证下界，并构造具有量化最优性间隙的可行控制器。
• 将现有方法扩展至包含跳跃过程和稳态分析，从而更广泛地适用于金融、生物和工程等现实系统。

提出的方法

• 将多项式跳跃扩散过程的统计矩演化建模为有限维线性控制系统，其中高阶矩作为辅助输入。
• 将矩边界估计与最优控制问题公式化为带有线性矩阵不等式（LMI）约束的凸线性最优控制问题，可通过半定规划（SDP）求解。
• 对于稳态分析，将动态最优控制问题简化为静态半定规划（SDP），从而高效计算稳态矩的边界。
• 利用SDP的解推导出随机最小化问题最优值的可证明下界，提供与真实最优成本的保证差距。
• 通过使用多项式基函数近似最优控制律，并利用平方和（SOS）技术施加约束，从SDP解中构造可行控制策略。
• 利用基于平方和表示的向量不等式约束，强制实施诸如状态和输入变量非负性的物理约束。

实验结果

研究问题

• RQ1 能否利用凸优化高效计算多项式跳跃扩散过程中统计矩的可证明上下界？
• RQ2 如何在不依赖启发式矩闭合假设的前提下，对矩方程的无限层级进行近似？
• RQ3 相同的凸优化框架能否以统一方式求解随机分析与随机最优控制问题？
• RQ4 随着矩层级阶数的增加，边界的收敛行为如何？
• RQ5 能否从半定规划的解中合成具有量化性能保证的可行控制器？

主要发现

• 该方法可计算随机控制问题最优成本的可证明下界，且SDP松弛得到的下界随着矩层级阶数的增加而收敛至真实最优值。
• 在示例5（带控制的跳跃扩散）中，控制器近似阶数为2时，成本下界即已稳定；而5000次模拟中可行控制器的平均成本收敛至紧致的上界。
• 在渔业管理示例中，通过可行控制器模拟估计的总捕捞量下界为1.62，而SDP得到的上界为2.12，表明真实最优捕捞量很可能位于[1.62, 2.12]区间内。
• 从SDP解导出的控制策略表现出近似恒定的种群维持，随后在时域末期出现灭绝，与最优事件触发行为一致。
• 该方法成功处理了动力学中的扩散与跳跃成分，并自然扩展至含控制输入和状态约束的系统。
• SDP公式允许通过平方和约束强制实施状态和输入变量的非负性，确保解具有物理解释意义。