[論文レビュー] Linear-Quadratic Optimal Control Problems for Mean-Field Stochastic Differential Equations --- Time-Consistent Solutions

Jiongmin Yong|arXiv (Cornell University)|Apr 15, 2013

Stochastic processes and financial applications参考文献 11被引用数 10

ひとこと要約

本稿では、定数係数を有する平均場ストキャスティック微分方程式における線形二次最適制御問題について、時間整合性を持つ解を構築する。変分法および多人数微分ゲームを用いて、開ループおよび閉ループ均衡解を導出する。閉ループ解に対しては対称リカチ方程式系を確立し、ボルテラ積分方程式および基本行列解析を用いて解の存在および一意性を証明する。

ABSTRACT

Linear-quadratic optimal control problems are considered for mean-field stochastic differential equations with deterministic coefficients. Time-inconsistency feature of the problems is carefully investigated. Both open-loop and closed-loop equilibrium solutions are presented for such kind of problems. Open-loop solutions are presented by means of variational method with decoupling of forward-backward stochastic differential equations, which lead to a Riccati equation system lack of symmetry. Closed-loop solutions are presented by means of multi-person differential games, the limit of which leads to a Riccati equation system with a symmetric structure.

研究の動機と目的

• 定数係数を有する平均場ストキャスティック微分方程式における線形二次最適制御問題の時間非整合性を解消する。
• 標準的なLQ制御で見られる動的非整合性を回避する、時間整合性を持つ開ループおよび閉ループ均衡解を開発する。
• N人ゲームの極限を用いて、閉ループ解を特徴付ける対称リカチ方程式系を確立する。
• ボルテア積分方程式および基本行列解析を用いて、導出されたリカチ方程式系の解の存在および一意性を証明する。
• リカチ方程式およびラプラス型方程式の行列解を用いて、均衡制御および価値関数の明示的フィードバック表現を提供する。

提案手法

• 開ループ均衡解を導出するため、前向き・後ろ向き確率微分方程式（FBSDE）を分解するために変分法を適用する。
• N人ゲームの極限を用いて閉ループ均衡解を導出し、対称リカチ方程式系に至る。
• 閉ループ解の対称構造を表現するために、二パラメータリカチ系（Γ(s,t), Γ̂(s,t)）を導入する。
• 離散近似（Δ）が連続解に収束することを示し、リプシッツ連続性および有界性を用いてΘΔがΘに一様収束することを証明する。
• 基本行列Φ(s;t)を用いて、閉ループ形式における状態過程を表現し、明示的フィードバック制御表現を可能にする。
• 二つの解の差を連続核を有する線形同次ボルテア積分方程式に還元することで、リカチ解の一意性を証明する。

実験結果

リサーチクエスチョン

• RQ1 平均場SDEにおける時間非整合な線形二次最適制御問題は、均衡解を用いてどのように解消可能か？
• RQ2 平均場LQ制御における閉ループ均衡解を特徴付けるリカチ方程式系の構造は何か？
• RQ3 N人ゲームの極限は、平均場設定においてどのように対称リカチ系に至るか？
• RQ4 この時間非整合枠組みにおける均衡解の存在および一意性を保証する条件は何か？
• RQ5 均衡制御は初期対（t,x）に依存しない状態フィードバック形式で表現可能か？また、これとリカチ解との関係は何か？

主な発見

• 閉ループ均衡解は、N人ゲームの極限として得られる対称リカチ方程式系（Γ(s,t), Γ̂(s,t)）によって特徴付けられる。
• 均衡制御は状態フィードバック形式で表現可能である：u*(s) = -Θ(s)X*(s)，ここでΘ(s)は対称リカチ方程式系の解から導出される。
• 価値関数は明示的にV(t,x) = ⟨P(t)x, x⟩と与えられ、P(t) = Γ(t,t)により、最適コストの二次的表現が保証される。
• リカチ方程式系の解は存在し、かつ一意であることが証明され、連続核を有する線形同次ボルテア積分方程式への還元によって示される。
• 離散近似（Δ）が連続解に一様収束することが確立され、∥ΘΔ(s) - Θ(s)∥ → 0 が ∥Δ∥ → 0 のとき成り立つ。
• 基本行列Φ(s;t)は、閉ループダイナミクスによって駆動される確率微分方程式を満たし、X*(s) = Φ(s;t)x による明示的解表現を可能にする。