[论文解读] A comparison of sample-based Stochastic Optimal Control methods

Pierre Girardeau|arXiv (Cornell University)|Feb 9, 2010

Advanced Control Systems Optimization参考文献 13被引用 4

一句话总结

本文使用均方误差（MSE）作为性能指标，对比了场景树与基于粒子的随机最优控制方法。虽然场景树在时间跨度增加时面临场景数量呈指数增长的问题，但粒子方法的收敛性保持稳定，且不受时间跨度影响；然而，其性能会随状态空间维度的增加而下降。

ABSTRACT

In this paper, we compare the performance of two scenario-based numerical methods to solve stochastic optimal control problems: scenario trees and particles. The problem consists in finding strategies to control a dynamicalsystem perturbed by exogenous noises so as to minimize some expected cost along a discrete and finite time horizon. We introduce the Mean SquaredError (MSE) which is the expected $L^2$-distance between the strategy given by the algorithm and the optimal strategy, as a performance indicator for the two models. We study the behaviour of the MSE with respect to the number of scenarios used for discretization. The first model, widely studied in the Stochastic Programming community, consists in approximating the noise diffusion using a scenario tree representation. On a numerical example, we observe that the number of scenarios needed to obtain a given precision growsexponentially with the time horizon. In that sense, our conclusion on scenario trees is equivalent to the one in the work by Shapiro (2006) and has been widely noticed by practitioners. However, in the second part, we show using the same example that, by mixing Stochastic Programming and Dynamic Programmingideas, the particle method described by Carpentier et al. (2009) copes with this numerical difficulty: the number of scenarios needed to obtain a given precision now does not depend on the time horizon. Unfortunately, we alsoobserve that serious obstacles still arise from the system state space dimension.

研究动机与目标

• 评估并比较场景树方法与基于粒子的方法在求解随机最优控制问题中的性能。
• 量化时间跨度对达到给定精度所需场景数量的影响。
• 评估状态空间维度对粒子方法收敛性的影响。
• 探究粒子方法是否能够克服场景树方法固有的指数级场景增长问题。

提出的方法

• 使用均方误差（MSE）作为性能指标，并将其分解为偏差与方差两部分。
• 采用场景树对噪声扩散过程进行时间离散化，将问题建模为多阶段随机规划问题。
• 采用粒子方法，结合随机规划与动态规划的思想，通过采样迭代求解最优性条件。
• 通过在状态空间中构建自适应网格，将粒子集中于最优状态所访问的高概率区域。
• 使用最近邻回归方法，从采样粒子中近似反馈控制律。
• 评估偏差与方差项的收敛速率，作为场景数量 N 的函数。

实验结果

研究问题

• RQ1 在场景树方法中，为达到给定精度所需场景数量是否随时间跨度呈指数增长？
• RQ2 粒子方法是否能在多阶段问题中实现与时间跨度无关的稳定收敛？
• RQ3 状态空间维度的增加如何影响粒子方法的收敛速率？
• RQ4 在相同场景数量下，粒子方法的方差是否显著低于场景树方法？

主要发现

• 场景树方法在场景数量 N 上的收敛速率为 N^(-1/T)，导致时间跨度 T 增大时所需场景数量呈指数增长。
• 粒子方法在一维状态空间中，偏差与方差的收敛速率均约为 N^(-1)，且与时间跨度无关。
• 在二维状态空间中，收敛速率退化为约 N^(-0.5)，表明对状态维度更加敏感。
• 粒子方法中的方差项在各时间步保持较低且稳定，而场景树中的方差随时间跨度增长而上升。
• 在高维问题中，平方偏差项占主导地位，表明当前最近邻等回归算子存在局限性。
• 粒子方法在多阶段问题中展现出潜力，因其收敛性与时间跨度无关，但其性能受状态空间维度的制约。