[論文レビュー] Indefinite Stochastic Linear-Quadratic Optimal Control Problems with Random Coefficients: Closed-Loop Representation of Open-Loop Optimal Controls

Jingrui Sun, Jie Xiong+1 more|arXiv (Cornell University)|Sep 1, 2018

Stochastic processes and financial applications参考文献 25被引用数 6

ひとこと要約

本稿は、確率的係数および不定な重み行列を有する線形二次型確率的最適制御問題におけるオープンループ最適制御の存在および一意性を確立する。ヒルベルト空間のアプローチを用いて、コスト関数の一様強凸性が、関連する確率的リッカティ方程式（SRE）の一意解の存在を保証し、状態フィードバックによる閉ループ表現を可能にすることを証明する。これは、正定値（半正定値でない）重み行列にまで一般化された古典的結果の拡張である。

ABSTRACT

This paper is concerned with a stochastic linear-quadratic optimal control problem in a finite time horizon, where the coefficients of the control system are allowed to be random, and the weighting matrices in the cost functional are allowed to be random and indefinite. It is shown, with a Hilbert space approach, that for the existence of an open-loop optimal control, the convexity of the cost functional (with respect to the control) is necessary; and the uniform convexity, which is slightly stronger, turns out to be sufficient, which also leads to the unique solvability of the associated stochastic Riccati equation. Further, it is shown that the open-loop optimal control admits a closed-loop representation. In addition, some sufficient conditions are obtained for the uniform convexity of the cost functional, which are strictly general than the classical conditions that the weighting matrix-valued processes are positive (semi-)definite.

研究の動機と目的

• 係数および重み行列が確率的であり、かつ不定である可能性がある線形二次型確率的最適制御問題に取り組む。
• 確率的かつ不定なコスト関数に対して、オープンループ最適制御の存在に関する必要十分条件を確立する。
• 確率的リッカティ方程式（SRE）の解を用いて、オープンループ最適制御の閉ループ表現を導出する。
• 古典的な凸性条件を一般化し、正（半）定値でない重み行列を許容する一様強凸性を十分条件として導入する。
• 多変数ブラウン運動の設定へ理論を拡張し、最適制御の存在およびフィードバック構造を証明する。

提案手法

• 確率的係数下でのコスト関数の凸性を分析するため、ヒルベルト空間フレームワークを用いる。
• コスト関数の一様強凸性が、確率的リッカティ方程式（SRE）の一意解の存在を保証することを確立する。
• SREの解および関連する随伴方程式を用いて、オープンループ最適制御の閉ループ表現を導出する。
• 伊藤の公式および局所化の議論を用いて、コスト関数とSREの解との関係を二次形式を通じて関係づける。
• 古典的な正定値性条件を一般化し、不定な重み行列を許容する一様強凸性条件を導入する。
• フレームワークをd次元ブラウン運動へ拡張し、多変数SREおよびフィードバック制御則を導出する。

実験結果

リサーチクエスチョン

• RQ1 確率的かつ不定な重み行列を有する線形二次型確率的最適制御問題において、オープンループ最適制御が存在する条件は何か？
• RQ2 コスト関数が一様強凸である場合、オープンループ最適制御はどのように閉ループ（状態フィードバック）形式で表現できるか？
• RQ3 コスト関数の一様強凸性と確率的リッカティ方程式（SRE）の解の存在性との関係は何か？
• RQ4 古典的な重み行列の正定値性仮定を緩和しても、最適制御の存在およびフィードバック構造を保つことは可能か？
• RQ5 理論は多変数ブラウン運動へどのように拡張され、その場合のSREおよびフィードバック制御はどのような形をとるか？

主な発見

• コスト関数の一様強凸性は、オープンループ最適制御の存在にとって必要かつ十分である。
• 一様強凸性条件下では、確率的リッカティ方程式（SRE）は一意な適応解を有する。
• オープンループ最適制御は、SREの解を用いた状態フィードバック則を通じて閉ループ表現が可能である。
• フィードバック制御則は $ u^*_{t,\xi}(s) = \Theta(s)X^*(s) $ として与えられ、ここで $ \Theta $ はSREの解から導かれる。
• 一様強凸性条件により、古典的結果が不定（必ずしも正定値でない）重み行列を許容する形に一般化される。
• d次元ブラウン運動の場合、SREは複数の拡散項を有する形を取り、同じ一様強凸性条件下でもフィードバック制御は状態に関して線形のままである。