[論文レビュー] Stochastic control up to a hitting time: optimality and rolling-horizon implementation

Debasish Chatterjee, Eugenio Cinquemani+2 more|ArXiv.org|Jun 18, 2008

Advanced Control Systems Optimization参考文献 32被引用数 6

ひとこと要約

本稿では、吸収的でないコン pact な標的集合への到達時刻までの確率的最適制御に対する動的計画法を提案する。標的が吸収的でないという仮定のもとで、最適方策の存在と一意性を収縮写像を用いて確立し、定量的な部分最適性バウンドを提示するローリング・ホライズン近似を提案するとともに、コストおよび状態ダイナミクスの弱い成長条件の下で価値反復の漸近的割引最適性を証明する。

ABSTRACT

We present a dynamic programming-based solution to a stochastic optimal control problem up to a hitting time for a discrete-time Markov control process. Firstly, we determine an optimal control policy to steer the process toward a compact target set while simultaneously minimizing an expected discounted cost. We then provide a rolling-horizon strategy for approximating the optimal policy, together with quantitative characterization of its sub-optimality with respect to the optimal policy. Finally, we address related issues of asymptotic discount-optimality of the value-iteration policy. Both the state and action spaces are assumed to be Polish.

研究の動機と目的

• 非有界なノイズと硬直的制約を有するシステムにおける、確率的モデル予測制御（MPC）の理論的基盤の欠如に応える。
• 吸収的でないコン pact な標的集合への到達時刻までのマルコフ過程の最適制御フレームワークを構築する。
• 最適方策に対する定量的性能保証を伴うローリング・ホライズン実装戦略を提供する。
• コストおよび状態ダイナミクスの弱い成長率条件の下で、価値反復の漸近的割引最適性を確立する。
• 硬直的制約を確率的制約に緩和することで実用的MPC設計を可能にするとともに、最適制御方策による迅速な安全領域回復を保証する。

提案手法

• 離散時間のポーランド空間上でのマルコフ制御過程において、状態がコン pact な標的集合に到達するまでの期待割引コストを最小化する問題として定式化する。
• 標準的な弱い仮定のもとで、価値関数に対するベルマン方程式を導出し、決定的かつ定常的最適方策の存在を証明する。
• コストおよび状態ダイナミクスの成長率条件の下で、価値関数の存在と一意性を収縮写像の議論により確立する。
• 各ステップで長さ $N$ のリcede ホライズンを用いた有限区間最適制御問題を解くローリング・ホライズン方策を提案する。
• 割引係数 $\alpha$、成長率 $\gamma < 1$、およびリャプノフ型関数 $w(x)$ を含むバウンドを用いて、ローリング・ホライズン方策の部分最適性を定量的に評価する。
• テレスコピック級数および条件付き期待値の議論を用いて、ローリング・ホライズン方策と最適方策との間の期待コスト差のバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 標的集合が吸収的でない場合に、到達時刻までの確率的制御に対して最適方策を保証できるか？
• RQ2 最適方策に対する相対的な有界な部分最適性を保証するように、ローリング・ホライズン近似をどのように設計できるか？
• RQ3 コストおよび状態ダイナミクスにどのような条件が課されれば、この設定における価値反復の収束性と安定性が保証されるか？
• RQ4 非吸収的標的に対して、ローリング・ホライズンMPCフレームワークにおける性能と計算複雑度のトレードオフをどのように定量的に評価できるか？
• RQ5 到達時刻制御の文脈において、価値反復方策がどのような条件下で漸近的割引最適性を示すか？

主な発見

• 標的集合が吸収的でない場合であっても、到達時刻までの確率的制御問題に対して、最適な決定的かつ定常的方策が存在する。
• 最適価値関数は、標的が吸収的でない性質を反映する状態空間の部分集合への統合を含むベルマン方程式を満たす。
• コストおよび状態ダイナミクスの弱い成長率条件の下で、最適価値関数は一意的であり、価値反復によって得られる。
• ローリング・ホライズン方策の部分最適性ギャップは、$\frac{\overline{c}\gamma^{N+1}}{1-\gamma}w(x)$ で有界であり、ここで $\overline{c}$ はコストの上限、$\gamma < 1$ は成長率、$w(x)$ はリャプノフ型関数である。
• 価値反復方策は漸近的割引最適性を示し、割引係数 $\alpha \to 1$ のとき、その性能が最適方策に近づく。
• 理論的枠組みは、確率的制約と制約違反後の迅速な安全領域回復戦略を可能にする実用的MPC設計を支援する。