[論文レビュー] Stochastic LQ and Associated Riccati equation of PDEs Driven by State-and Control-Dependent White Noise

Ying Hu, Shanjian Tang|arXiv (Cornell University)|Sep 14, 2018

Stochastic processes and financial applications参考文献 11被引用数 5

ひとこと要約

本稿は、状態および制御に依存する空間時間白色ノイズによって駆動される線形SDEの線形2次（LQ）確率的最適制御問題に生じるリッカティ方程式およびリャプノフ方程式について、初めての適切に定義された解の存在結果を確立する。最適制御が関連するリッカティ方程式の解から導かれる特異なフィードバック則であることを証明し、ゼロ制御可能性が特異な終端条件を伴う解の存在と同値であることを示し、制御されたアンドリュースモデルを通じて具体例を提示する。

ABSTRACT

The optimal stochastic control problem with a quadratic cost functional for linear partial differential equations (PDEs) driven by a state-and control-dependent white noise is formulated and studied. Both finite-and infinite-time horizons are considered. The multi-plicative white noise dynamics of the system give rise to a new phenomenon of singularity to the associated Riccati equation and even to the Lyapunov equation. Well-posedness of both Riccati equation and Lyapunov equation are obtained for the first time. The linear feedback coefficient of the optimal control turns out to be singular and expressed in terms of the solution of the associated Riccati equation. The null controllability is shown to be equivalent to the existence of the solution to Riccati equation with the singular terminal value. Finally, the controlled Anderson model is addressed as an illustrating example.

研究の動機と目的

• 状態および制御に依存する空間時間白色ノイズによって駆動されるSPDEの無限次元線形2次最適確率的制御問題を定式化し、その解法を提示すること。
• 乗法的白色ノイズ力学に起因する、関連するリッカティ方程式およびリャプノフ方程式における新たな特異性に対処すること。
• 特異な終端条件のもとでリッカティ方程式の解の存在および一意性を確立すること。
• 最適制御がリッカティ方程式の解を含むフィードバック則として特徴付けられることを示すこと。
• ゼロ制御可能性が、特異な終端条件を伴うリッカティ方程式の解の存在と同値であることを証明すること。

提案手法

• 状態および制御に依存する係数を有する、円柱形ウィーナー過程によって駆動されるSPDEのLQ制御問題を定式化すること。
• リャプノフおよびリッカティ方程式における無限和 ∑C_i^* P_s C_i の推定に、前向きSPDEによる新規表現を導入すること。
• リッカティ方程式に対して準線形化法を適用し、t=0およびt=Tにおける特異な係数が存在するにもかかわらず、解の単調性および収束性を証明すること。
• エネルギー等式を導出するための新しい切断法を構築し、空間時間白色ノイズの存在下でヨシダ近似が失敗する状況を克服すること。
• リッカティ方程式の解を用いて、フィードバック形式での最適制御を合成すること。
• 制御されたアンドリュースモデルを具体的な例として適用し、条件の妥当性を検証し、フィードバック則を導出すること。

実験結果

リサーチクエスチョン

• RQ1 状態および制御に依存する空間時間白色ノイズによって駆動されるSPDEと関連するリッカティ方程式は、終端時における特異な係数が存在するにもかかわらず、適切に定義された解を持つと言えるか？
• RQ2 フィードバック係数が特異である場合であっても、このような系の最適制御は、リッカティ方程式の解を用いてフィードバック形式で表現可能か？
• RQ3 ゼロ制御可能性と、特異な終端条件を伴うリッカティ方程式の解の存在との間には、正確にどのような関係があるか？
• RQ4 無限和 ∑C_i^* P_s C_i がヒルベルト空間内に有界でない作用素を引き起こす場合、リャプノフ方程式はどのように解けるか？
• RQ5 理論的枠組みは、乗法的空間時間白色ノイズを有するSPDEの代表例たる制御されたアンドリュースモデルに、成功裏に適用可能か？

主な発見

• 状態および制御に依存する白色ノイズを伴うSPDEのLQ制御問題に関連するリッカティ方程式は、特異な終端条件が存在する場合であっても適切に定義されており、[0,T) 上で一意な弱解を有する。
• 最適制御が特異なフィードバック則として与えられることを示し、u_t = -λ(t, P_t) * (R_t)^{-1} B_t^* P_t X_t と表される。ここで、P_t はリッカティ方程式の解である。
• システムのゼロ制御可能性が、時刻Tにおける特異な終端条件を伴うリッカティ方程式の解の存在と同値であることを証明した。
• 前向きSPDEの解を用いた新規表現により、リャプノフ方程式が適切に定義されており、無限和 ∑C_i^* P_s C_i の推定が可能になった。
• 制御されたアンドリュースモデルが具体例として成功裏に取り扱われ、有界かつ可測な係数のもとで、フィードバック制御則が導出された。
• 時間不変係数の場合、安定化可能性の下で代数的リッカティ方程式は一意解を有し、無限時間ホライズンにおける最適フィードバック制御の合成が可能になった。