[論文レビュー] Mean-Field Stochastic Linear Quadratic Optimal Control Problems: Closed-Loop Solvability

Xun Li, Jingrui Sun+1 more|arXiv (Cornell University)|Feb 25, 2016

Stochastic processes and financial applications参考文献 13被引用数 4

ひとこと要約

本稿は、結合された一般化されたリカチ方程式の可解性に加え、線形後向きSDEおよび終端ODEの解に対する制約を伴う、平均場確率的線形二次（LQ）最適制御問題の閉ループ可解性を確立する。主な貢献は、これらの方程式および補助的制約の正則解が存在することを条件として、閉ループ可解性の必要十分条件を提示することにある。

ABSTRACT

An optimal control problem is studied for a linear mean-field stochastic differential equation with a quadratic cost functional. The coefficients and the weighting matrices in the cost functional are all assumed to be deterministic. Closed-loop strategies are introduced, which require to be independent of initial states; and such a nature makes it very useful and convenient in applications. In this paper, the existence of an optimal closed-loop strategy for the system (also called the closed-loop solvability of the problem) is characterized by the existence of a regular solution to the coupled two (generalized) Riccati equations, together with some constraints on the adapted solution to a linear backward stochastic differential equation and a linear terminal value problem of an ordinary differential equation.

研究の動機と目的

• 平均場確率的線形二次最適制御問題における閉ループ可解性の必要十分条件を確立すること。
• 初期状態に依存しない最適な閉ループ戦略を特徴づけることで、実世界のシステムへの応用性を高めること。
• 状態および制御過程の期待値を組み込むことにより、古典的LQ理論を平均場SDEに拡張すること。
• 定数係数を有するMF-SDEに基づくLQ問題における可解性に関する根本的課題を解決すること。
• 金融、リスク管理、ポートフォリオ最適化などの分野における応用の理論的基盤を提供すること。

提案手法

• 初期状態に依存しない閉ループ戦略を導入し、実装可能性を保証すること。
• 閉ループ可解性の核心的条件として、2つの一般化されたリカチ方程式（GREs）の結合系を導出すること。
• 線形後向き確率微分方程式（BSDE）の適応的解および終端値ODEに対する制約を課すこと。
• 検証定理を用いて、最適制御がGREの解を含むフィードバック形式で与えられることを示すこと。
• 確率的最適性原理および双対性の議論を用いて、最適性の必要条件を導出すること。
• 閉ループ可解性と、補助的制約を伴う結合GREの正則解の存在との間の同値性を確立すること。

実験結果

リサーチクエスチョン

• RQ1 平均場確率的LQ最適制御問題が、どのような条件下で閉ループ最適戦略を有するか。
• RQ2 最適制御は、初期状態に依存しないフィードバック形式でどのように表現できるか。
• RQ3 一般化されたリカチ方程式が閉ループ可解性を保証するために果たす役割は何か。
• RQ4 BSDEおよびODEの解に対する制約は、問題の可解性にどのように影響するか。
• RQ5 閉ループ可解性と、結合GREの正則解との間の関係は何か。

主な発見

• MF-LQ問題の閉ループ可解性は、結合された一般化されたリカチ方程式の正則解の存在と同値である。
• 最適な閉ループ戦略は、GREの解を含むフィードバック則として与えられ、状態および期待値依存性を保証する。
• BSDEおよびODEの解に対する補助的制約は、閉ループ戦略の最適性にとって不可欠である。
• 確定的ドリフト項およびノイズ項が存在しない場合、閉ループ可解性は単にGREの正則可解性に帰着する。
• 価値関数は、GREの解および補助的過程を用いて明示的に表現できる。
• 証明は、コスト関数ニットとGREの解を関連付ける恒等式を用いた検証的議論に依拠している。