[論文レビュー] A Linear-Quadratic Optimal Control Problem for Mean-Field Stochastic Differential Equations

Jiongmin Yong|arXiv (Cornell University)|Oct 7, 2011

Stochastic processes and financial applications被引用数 15

ひとこと要約

本稿は、決定的係数を有する平均場ストキャスティック微分方程式（MF-SDE）に対する線形・二次的最適制御問題を研究する。変分法と分解技術を用いて、2つの一意的に解けるリカチ方程式を通じて、状態とその期待値を含む状態フィードバック解を得るためのフィードバック表現を導出する。

ABSTRACT

A Linear-quadratic optimal control problem is considered for mean-field stochastic differential equations with deterministic coefficients. By a variational method, the optimality system is derived, which turns out to be a linear mean-field forward-backward stochastic differential equation. Using a decoupling technique, two Riccati differential equations are obtained, which are uniquely solvable under certain conditions. Then a feedback representation is obtained for the optimal control.

研究の動機と目的

• 決定的係数を有する平均場ストキャスティック微分方程式（MF-SDE）の最適制御を扱う。
• 平均場フレームワークにおける線形・二次的（LQ）制御問題の必要かつ十分な最適性条件を導出する。
• リカチ方程式の解を用いたフィードバック表現として最適制御を確立する。
• 古典的LQ制御理論を、動的およびコスト関数に状態と制御の期待値を含める形に拡張する。

提案手法

• 最適性系を導出するための変分法を適用し、線形平均場前向き・後向きストキャスティック微分方程式（MF-FBSDE）が得られる。
• 分解技術を用いてMF-FBSDEを2つのリカチ微分方程式に簡略化する。
• 解の一意性と正則性を保証する条件下でリカチ方程式を解く。
• 状態過程とその期待値に基づいて最適制御のフィードバック表現を導出する。
• 伊藤の公式と期待値に基づく動的法則を用いて、SDEおよびコスト関数における平均場項を扱う。
• 厳密な確率解析を通じて、最適性系とリカチ方程式の等価性を確立する。

実験結果

リサーチクエスチョン

• RQ1 決定的係数を有する平均場SDEによって駆動される線形・二次的問題の最適制御は、どのように特徴づけられるか？
• RQ2 平均場文脈において、関連するリカチ方程式の一意的可解性を保証する条件は何か？
• RQ3 最適制御のフィードバック表現を、状態とその期待値の両方に依存する形で導出可能か？
• RQ4 動的およびコスト関数に状態と制御の期待値を含めることで、最適制御の構造にどのような影響が生じるか？
• RQ5 分解技術は、最適性系を解けるリカチ方程式に変換する際に果たす役割は何か？

主な発見

• LQ問題の最適性系は、線形平均場前向き・後向きストキャスティック微分方程式として導出される。
• 分解技術を用いて2つのリカチ微分方程式が得られ、適切な条件下でその一意的可解性が確立される。
• 最適制御は、現在の状態 $X(s)$ とその期待値 $\mathbb{E}[X(s)]$ に依存するフィードバック表現を有する。
• リカチ方程式の解が、フィードバック制御則の係数を提供し、最適制御の明示的計算を可能にする。
• フィードバック形式により、最適制御がフィルトレーションに適応し、状態およびその期待値に関して可測であることが保証される。
• 結果として、システム的要因を期待値を通じて組み込んだ平均場設定への古典的LQ制御理論の一般化が達成される。