[論文レビュー] Analysis and Control of Stochastic Systems using Semidefinite Programming over Moments

Andrew Lamperski, Khem Raj Ghusinga+1 more|arXiv (Cornell University)|Feb 1, 2017

Probabilistic and Robust Engineering Design参考文献 20被引用数 4

ひとこと要約

本稿では、半正定値計画法（SDP）を用いて、ジャンプ拡散系におけるモーメントの境界評価と確率的最適制御問題の解法を統合的に扱う凸最適化フレームワークを提示する。高次モーメントを線形補助系における制御入力として扱うことで、半正定値制約を伴う凸最適制御問題として定式化し、統計的モーメントおよび最適コストの保証可能な上界・下界を計算可能とし、保証可能な部分最適性ギャップと実行可能制御則の構築を可能にする。

ABSTRACT

This paper develops a unified methodology for probabilistic analysis and optimal control design for jump diffusion processes defined by polynomials. For such systems, the evolution of the moments of the state can be described via a system of linear ordinary differential equations. Typically, however, the moments are not closed and an infinite system of equations is required to compute statistical moments exactly. Existing methods for stochastic analysis, known as closure methods, focus on approximating this infinite system of equations with a finite dimensional system. This work develops an alternative approach in which the higher order terms, which are approximated in closure methods, are viewed as inputs to a finite-dimensional linear control system. Under this interpretation, upper and lower bounds of statistical moments can be computed via convex linear optimal control problems with semidefinite constraints. For analysis of steady-state distributions, this optimal control problem reduces to a static semidefinite program. These same optimization problems extend automatically to stochastic optimal control problems. For minimization problems, the methodology leads to guaranteed lower bounds on the true optimal value. Furthermore, we show how an approximate optimal control strategy can be constructed from the solution of the semidefinite program. The results are illustrated using numerous examples.

研究の動機と目的

• 多項式ダイナミクスを有する確率的システムにおいて、正確なモーメント方程式が無限階かつ閉じていないという課題に対処する。
• 従来のモーメント閉じ込め手法が点推定にとどまるのを克服し、モーメントの保証可能な上界・下界を提供する。
• 半正定値計画法に基づく一様な凸最適化フレームワークにおいて、確率的解析と最適制御問題の両方を統合的に取り扱う。
• 最適制御コストの保証可能な下界を提供し、定量的な最適性ギャップを有する実行可能制御則を構築する。
• ジャンプ過程と定常状態解析を含めるよう既存手法を拡張し、ファイナンス、生物学、工学分野の実世界システムへの広範な適用性を実現する。

提案手法

• 多項式ジャンプ拡散過程の統計的モーメントの時間発展を、高次モーメントを補助入力として扱う有限次元線形制御系としてモデル化する。
• モーメントの境界評価と最適制御問題を、線形行列不等式（LMI）制約を伴う凸線形最適制御問題として定式化し、半正定値計画法（SDP）により解けるようにする。
• 定常状態解析において、動的最適制御問題を静的半正定値計画法（SDP）に簡略化し、定常状態モーメントの境界を効率的に計算可能にする。
• SDPの解を用いて、確率的最小化問題の最適値の保証可能な下界を導出する。これにより、真の最適コストとのギャップを保証できる。
• SDPの解から、多項式基底関数による最適制御則の近似を用いて実行可能制御則を構築する。制約は和の平方（SOS）技術により強制する。
• 多項式基底関数による和の平方表現から導かれるベクトル不等式制約を用いて、状態変数および入力変数の非負性などの物理的制約を強制する。

実験結果

リサーチクエスチョン

• RQ1 凸最適化を用いて、多項式ジャンプ拡散過程の統計的モーメントの保証可能な上界・下界を効率的に計算できるか？
• RQ2 恣意的なモーメント閉じ込め仮定に依存せずに、モーメント方程式の無限階層をどのように近似できるか？
• RQ3 同じ凸最適化フレームワークを用いて、確率的解析と確率的最適制御問題を統合的に解けるか？
• RQ4 モーメント階層の次数が増加する際、境界の収束特性はいかなるものか？
• RQ5 半正定値計画法の解から、定量的な性能保証を有する実行可能制御則を合成できるか？

主な発見

• 本手法は、確率的制御問題の最適コストの保証可能な下界を計算可能であり、モーメント階層の次数が増加するに従い、SDP緩和による下界が真の最適値に収束する。
• 例5（制御付きジャンプ拡散）において、制御則近似の次数が2に達する段階でコストの下界が収束し、5000回のシミュレーションにおける実行可能制御則の平均コストは、タイトな上界に収束している。
• 漁業管理の例では、実行可能制御則のシミュレーションにより総出荷量の下界が1.62と推定され、SDPによる上界は2.12であった。したがって、真の最適出荷量は[1.62, 2.12]の範囲内にあると推定される。
• SDPの解から導かれた制御戦略は、終了時刻に近づくに従い、ほぼ一定の個体数維持の後、絶滅に至る傾向を示し、最適イベントトリガー行動と整合的である。
• 本手法は、ダイナミクスにおける拡散成分とジャンプ成分の両方を効果的に扱い、制御入力および状態制約を有する系への自然な拡張が可能である。
• SDP定式化により、和の平方制約を用いて状態変数および入力変数の非負性を強制でき、物理的に意味のある解が保証される。