[論文レビュー] A comparison of sample-based Stochastic Optimal Control methods

Pierre Girardeau|arXiv (Cornell University)|Feb 9, 2010

Advanced Control Systems Optimization参考文献 13被引用数 4

ひとこと要約

この論文は、性能指標として平均二乗誤差（MSE）を用いて、シナリオツリー法とパラメトリック法の確率的最適制御手法を比較している。シナリオツリー法は時間枠が延びるにつれて必要なシナリオ数が指数関数的に増加するが、パラメトリック法は時間枠に依存しない安定した収束を示すが、状態空間の次元が増加するにつれて性能が低下する。

ABSTRACT

In this paper, we compare the performance of two scenario-based numerical methods to solve stochastic optimal control problems: scenario trees and particles. The problem consists in finding strategies to control a dynamicalsystem perturbed by exogenous noises so as to minimize some expected cost along a discrete and finite time horizon. We introduce the Mean SquaredError (MSE) which is the expected $L^2$-distance between the strategy given by the algorithm and the optimal strategy, as a performance indicator for the two models. We study the behaviour of the MSE with respect to the number of scenarios used for discretization. The first model, widely studied in the Stochastic Programming community, consists in approximating the noise diffusion using a scenario tree representation. On a numerical example, we observe that the number of scenarios needed to obtain a given precision growsexponentially with the time horizon. In that sense, our conclusion on scenario trees is equivalent to the one in the work by Shapiro (2006) and has been widely noticed by practitioners. However, in the second part, we show using the same example that, by mixing Stochastic Programming and Dynamic Programmingideas, the particle method described by Carpentier et al. (2009) copes with this numerical difficulty: the number of scenarios needed to obtain a given precision now does not depend on the time horizon. Unfortunately, we alsoobserve that serious obstacles still arise from the system state space dimension.

研究の動機と目的

• シナリオツリー法とパラメトリック法の両者が確率的最適制御問題を解く際の性能を評価・比較すること。
• 時間枠の影響が、所定の精度を達成するために必要なシナリオ数に与える影響を定量化すること。
• 状態空間次元がパラメトリック法の収束に与える影響を評価すること。
• パラメトリック法が、シナリオツリー法に内在する指数的シナリオ増加問題を克服できるかを調査すること。

提案手法

• 性能指標として平均二乗誤差（MSE）を用い、バイアスとバイアスの2つの成分に分解する。
• ノイズ拡散を時間的に離散化するためにシナリオツリーを適用し、問題をマルチステージ確率的計画問題として扱う。
• 確率的計画法と動的計画法の考えを組み合わせたパラメトリック法を採用し、反復的に最適性条件を満たすためにサンプリングを用いる。
• 最適状態が訪れる高確率領域に粒子を集中させることで、状態空間に適応的なメッシュを構築する。
• 最近傍点回帰を用いて、サンプルされた粒子からフィードバック制御を近似する。
• バイアスとバイアスの収束速度を、シナリオ数Nの関数として評価する。

実験結果

リサーチクエスチョン

• RQ1 シナリオツリー法において、所定の精度を達成するために必要なシナリオ数は、時間枠が延びるにつれて指数関数的に増加するか？
• RQ2 パラメトリック法はマルチステージ問題において時間枠に依存しない安定した収束を達成できるか？
• RQ3 状態空間次元が増加すると、パラメトリック法の収束速度にどのように影響するか？
• RQ4 同じシナリオ数のもとで、パラメトリック法の分散はシナリオツリー法よりも顕著に低いか？

主な発見

• シナリオツリー法は、シナリオ数Nに対して収束速度がN^(-1/T)であることが判明し、時間枠Tが延びるにつれて必要なシナリオ数が指数関数的に増加する。
• パラメトリック法は1次元状態空間ではバイアスとバイアスの収束速度がおおよそN^(-1)であり、時間枠に依存しない。
• 2次元状態空間では収束速度がおおよそN^(-0.5)に低下し、状態次元の増加に敏感であることが示された。
• パラメトリック法では分散項が時間ステップにわたり低く安定しているが、シナリオツリー法では時間枠に応じて増加する。
• 高次元問題では二乗バイアス項が支配的であり、最近傍点のような現在の回帰演算子に限界があることが示唆された。
• パラメトリック法は時間枠に依存しない収束を示すため、マルチステージ問題への応用が有望であるが、状態空間次元の増大によって性能が制限される。