[論文レビュー] Characterization of Optimal Feedback for Stochastic Linear Quadratic Control Problems

Qi Lü, Tianxiao Wang+1 more|arXiv (Cornell University)|Feb 29, 2016

Stochastic processes and financial applications参考文献 24被引用数 4

ひとこと要約

この論文は、確率的線形二次（SLQ）制御問題における最適フィードバック制御の存在と、適切な意味での対応する後向き確率的リカッチ方程式（BSRE）の可解性との間の同値性を確立する。さらに、決定論的ケースとは顕著な相違を示すことが判明する：SLQ問題が可解であっても、最適フィードバック制御が存在しない場合がある。これは、フィードバック作用素が必要な空間で有界でない例によって示されている。

ABSTRACT

One of the fundamental issues in Control Theory is to design feedback controls. It is well-known that, the purpose of introducing Riccati equations in the deterministic case is to provide the desired feedback controls for linear quadratic control problems. To date, the same problem in the stochastic setting is only partially well-understood. In this paper, we establish the equivalence between the existence of optimal feedback controls for the stochastic linear quadratic control problems with random coefficients and the solvability of the corresponding backward stochastic Riccati equations in a suitable sense. We also give a counterexample showing the nonexistence of feedback controls to a solvable stochastic linear quadratic control problem. This is a new phenomenon in the stochastic setting, significantly different from its deterministic counterpart.

研究の動機と目的

• 確率的線形二次（SLQ）制御問題における最適フィードバック制御が存在する条件を明確化すること。
• 最適フィードバック制御の存在と関連する後向き確率的リカッチ方程式（BSRE）の可解性との間の明確な同値性を確立すること。
• 確率的と決定論的LQ制御の根本的差異を特定・説明すること：問題が可解であってもフィードバック制御が存在しないこと。
• スカラーフィードバック作用素が有界でないため、可解なSLQ問題が最適フィードバック作用素を有さない可能性を示す反例を構築すること。

提案手法

• 確率的係数を有する制御された線形SDEと二次的コスト関数を用いてSLQ問題を形式化する。
• 状態に依存する係数を含む、Moore-Penrose一般化逆行列を含む後向き確率的リカッチ方程式（BSRE）を導出する。
• 最適フィードバックとしての候補となるフィードバック作用素 Θ(t) = −(R + DᵀPD)⁻¹(BᵀP + Dᵀ(PC + Λ)) を導入する。
• 空間 $ L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathbb{R}^{m\times n})) $ におけるフィードバック作用素の可積分性と有界性を分析し、その適正性を評価する。
• 特異な確率的積分と停止時刻を用いた反例を構築し、問題が可解であってもフィードバック作用素が有界でないことを示す。
• 反例におけるBSREの解の正当性を確認するため、確率過程の逆数に伊藤の公式を適用する。

実験結果

リサーチクエスチョン

• RQ1 確率的係数を有する確率的線形二次制御問題において、最適フィードバック制御が存在する条件は何か？
• RQ2 後向き確率的リカッチ方程式（BSRE）の可解性は、確率的設定における最適フィードバック制御の存在にとって十分かつ必要条件か？
• RQ3 決定論的ケースではリカッチ方程式の可解性がフィードバック制御を保証するが、なぜ確率的ケースではその原則が成り立たないのか？
• RQ4 可解な確率的LQ問題が最適フィードバック作用素を有さないことはあり得るか？ もしそうなら、どのような条件下でそうなるか？

主な発見

• SLQ問題における最適フィードバック制御の存在は、適切な関数空間における対応する後向き確率的リカッチ方程式（BSRE）の可解性と同値である。
• フィードバック作用素 Θ(t) が最適であるための必要十分条件は、BSREの解 (P, Λ) が (P, Λ) ∈ $ L^{∞}_{\mathbb{F}}(0,T;\mathcal{S}(\mathbb{R}^{n})) \times L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathcal{S}(\mathbb{R}^{n}))) $ を満たすことである。
• 反例として、SLQ問題は可解であるが、対応するフィードバック作用素 Θ(t) = −Y(t)⁻¹Z(t) が $ L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathbb{R})) $ に属さないため、適正でない。
• 反例は、特異なドリフトを有する確率的積分と停止時刻に依存しており、Y(t) は有界であるが Z(t) は本質的に有界でないため、フィードバック作用素の可積分性条件を満たさない。
• 論文は、終端条件 G = Y(T)⁻¹ − 1/4 が、Λ(t) ∝ Z(t) が $ L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathbb{R})) $ に属さない解を生じさせることを特定した。これにより、フィードバック作用素が無効となる。
• この結果は、決定論的ケースとは根本的に異なる点を明らかにする：確率的係数の性質とフィードバック作用素の有界性の欠如により、可解なSLQ問題であっても最適フィードバック制御を有さない可能性がある。