[論文レビュー] Price decomposition in large-scale stochastic optimal control

Kengy Barty, Pierre Carpentier+2 more|arXiv (Cornell University)|Dec 9, 2010

Stochastic processes and financial applications参考文献 18被引用数 4

ひとこと要約

本稿では、ラグランジュ緩和と双対過程の統計的近似を用いて、大規模な確率的最適制御問題に対する分解型アルゴリズムを提案する。収束性を証明し、特定の条件下では最適制御方策が部分的に分散化されることを示し、共有ノイズの依存関係を保ちつつ部分系を分離することで、高次元問題の効率的解法を可能にする。

ABSTRACT

We are interested in optimally driving a dynamical system that can be influenced by exogenous noises. This is generally called a Stochastic Optimal Control (SOC) problem and the Dynamic Programming (DP) principle is the natural way of solving it. Unfortunately, DP faces the so-called curse of dimensionality: the complexity of solving DP equations grows exponentially with the dimension of the information variable that is sufficient to take optimal decisions (the state variable). For a large class of SOC problems, which includes important practical problems, we propose an original way of obtaining strategies to drive the system. The algorithm we introduce is based on Lagrangian relaxation, of which the application to decomposition is well-known in the deterministic framework. However, its application to such closed-loop problems is not straightforward and an additional statistical approximation concerning the dual process is needed. We give a convergence proof, that derives directly from classical results concerning duality in optimization, and enlghten the error made by our approximation. Numerical results are also provided, on a large-scale SOC problem. This idea extends the original DADP algorithm that was presented by Barty, Carpentier and Girardeau (2010).

研究の動機と目的

• 大規模な確率的最適制御問題における次元の呪いを克服するために、問題をより小さな、取り扱いやすい部分問題に分解すること。
• 従来、決定論的設定で用いられてきた分解技法を、閉ループの確率的制御フレームワークへと拡張すること。
• 動的でフィードバックに基づく制御問題におけるラグランジュ緩和の実装を可能にする、統計的近似を用いた双対過程の開発。
• 古典的双対性理論を用いて提案アルゴリズムの収束性を証明し、統計的近似によって生じる誤差を定量すること。
• 複数のユニットと確率的摂動を含む大規模な電力管理問題に対して、本手法の有効性を実証すること。

提案手法

• 本手法は、元の確率的最適制御問題をより小さな部分問題に分解するためにラグランジュ緩和を用いる。
• 外生的ノイズが存在する閉ループフィードバック制御の複雑さに対処するため、双対過程の統計的近似を導入する。
• ノイズ過程が特定の独立性仮定を満たす場合、ベルマン関数の加法的構造を活用する。
• アルゴリズムは、局所状態変数と周辺ノイズ分布にのみ依存する部分問題を繰り返し解くことで、計算負荷を低減する。
• 収束性は最適化における古典的双対性結果を用いて確立され、誤差バウンドは双対過程の近似精度から導出される。
• 複数の電力ユニットと確率的需要・流入プロセスを含む大規模なエネルギー管理問題に対して、数値的妥当性が確認された。

実験結果

リサーチクエスチョン

• RQ1 フィードバック方策における直接的な分解が困難であるにもかかわらず、ラグランジュ緩和を閉ループの確率的最適制御問題に効果的に適用できるか？
• RQ2 最適制御方策が、局所的および共有ノイズプロセスにのみ依存する部分的分散化となる条件は何か？
• RQ3 確率的動的計画法における双対過程を、収束保証を損なわずにどのように統計的に近似できるか？
• RQ4 双対変数における統計的近似によって生じる理論的誤差バウンドは何か？
• RQ5 提案手法は、高次元状態空間を有する大規模な確率的最適制御問題を、効率的に解けるか？

主な発見

• システムのコストとダイナミクスが加法的であり、ノイズ過程が共有変数を条件とする独立性を満たす場合、最適フィードバック方策は部分的に分散化される。
• 与えられた条件下でベルマン関数は加法的のままであり、独立した部分問題への分解を可能にする。
• 古典的双対性理論を活用することで収束性が達成され、誤差バウンドは双対過程の統計的近似から導出される。
• 数値結果により、本手法が大規模な電力管理問題において有効であることが確認され、スケーラビリティと計算可能性が示された。
• 共有ノイズ（例：共通の需要または流入プロセス）は最小化段階に結合性をもたらすが、周辺分布を用いる限り、分解は妨げられない。
• 状態空間の複雑さが指数関数的に増加するのを避けるため、本手法は高次元設定において標準的動的計画法を上回る性能を示す。