[論文レビュー] A Linear-Quadratic Optimal Control Problem for Mean-Field Stochastic Differential Equations in Infinite Horizon

Jianhui Huang, Xun Li+1 more|arXiv (Cornell University)|Aug 27, 2012

Stochastic processes and financial applications参考文献 5被引用数 6

ひとこと要約

この論文は、無限時間ホライズンにおける定数係数を有する平均場ストキャスティック微分方程式に対する線形二次最適制御問題を研究する。2つの代数的リカチ方程式の解を用いて、安定化フィードバック制御則の存在を確立し、最適制御を状態とその平均を含む線形状態フィードバックとして表現する。半正定値プログラミング法を用いて可解性を検証する。

ABSTRACT

A linear-quadratic (LQ, for short) optimal control problem is considered for mean-field stochastic differential equations with constant coefficients in an infinite horizon. The stabilizability of the control system is studied followed by the discussion of the well-posedness of the LQ problem. The optimal control can be expressed as a linear state feedback involving the state and its mean, through the solutions of two algebraic Riccati equations. The solvability of such kind of Riccati equations is investigated by means of semi-definite programming method.

研究の動機と目的

• 無限時間ホライズンにおける平均場ストキャスティック微分方程式の線形二次最適制御問題の安定化可能性と適切な定義の検討。
• 状態とその平均を含むフィードバック形式の最適制御則の導出。
• 関連する代数的リカチ方程式の半正定値プログラミング技術を用いた可解性の確立。
• SDPに基づく計算による数値的妥当性の検証：安定化フィードバックゲインおよびリカチ解の計算。

提案手法

• 状態と制御の期待値に依存する制御された平均場SDEを定式化する。
• 状態、その平均、制御、制御の平均の2次項を含む無限ホライズンLQコスト関数を定義する。
• 最適制御を、2つの代数的リカチ方程式の解から得られるフィードバックゲインを用いた線形フィードバックとして導出する：$ u^*(t) = \Gamma^*(X^*(t) - \mathbb{E}[X^*(t)]) + \bar{\Gamma}^*\mathbb{E}[X^*(t)] $。
• 線形行列不等式（LMI）系の可解性を用いて、MF-L²安定化可能性を確立し、これを半正定値プログラミング（SDP）問題に再定式化する。
• SDP手法を用いて連立代数的リカチ方程式（SARE）を数値的に解き、最適フィードバック行列を求める。
• MATLABにおけるSDPソルバを用いた5次元系の数値実験を通じて、アプローチの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 平均場ストキャスティック制御系が無限ホライズンにおいてMF-L²安定化可能となる条件は何か？
• RQ2 無限ホライズンLQ問題の最適制御は、状態とその平均を含む線形フィードバックとして表現可能か？
• RQ3 関連する代数的リカチ方程式をどのように効率的に解くことができ、その可解性を保証する条件は何か？
• RQ4 このようなシステムの安定化可能性を検証し、最適フィードバックゲインを計算するためにどのような数値的手法が利用可能か？

主な発見

• 最適制御は、2つの代数的リカチ方程式の解から得られる、状態とその平均を含む線形状態フィードバックとして明示的に表現される。
• MF-L²安定化可能性は、線形行列不等式（LMI）系の可解性と同値であり、半正定値プログラミングによって検証される。
• 数値実験により、システムの安定化可能性が確認され、SDPにより、$ \mathbb{X}, \bar{\mathbb{X}}, Y, \bar{Y} $ の可解な行列が計算され、安定化フィードバックゲイン $ K = Y\mathbb{X}^{-1} $ および $ \bar{K} = \bar{Y}\bar{\mathbb{X}}^{-1} $ が得られた。
• 連立代数的リカチ方程式（SARE）の解は数値的に計算され、最適制御則に不可欠な対称行列 $ P $ および $ \Pi $ が得られた。
• フィードバックゲイン $ K $ および $ \bar{K} $ は、$ K \approx \begin{bmatrix}-0.3725 & 0.1843 & 0.3405 & -0.5390 & -0.1289 \\ 0.1689 & 0.5864 & 0.6700 & -0.8716 & -0.3709 \end{bmatrix} $ および $ \bar{K} \approx \begin{bmatrix}4.0644 & 1.2449 & -3.7655 & 1.9996 & -1.3936 \\ 4.2782 & 0.3405 & 0.6593 & 0.7858 & 0.2849 \end{bmatrix} $ として明示的に計算され、システムの安定性が保証された。
• SAREの数値解は、$ P \approx \begin{bmatrix}0.4151 & 0.3890 & 0.2068 & 0.0162 & -0.4059 \\ 0.3890 & 2.7208 & 1.9097 & -2.6074 & -0.7756 \\ 0.2068 & 1.9097 & 1.8535 & -1.8330 & -0.8979 \\ 0.0162 & -2.6074 & -1.8330 & 4.2403 & -0.2665 \\ -0.4059 & -0.7756 & -0.8979 & -0.2665 & 2.1537 \end{bmatrix} $ および $ \Pi \approx \begin{bmatrix}0.6147 & 0.5721 & 0.2644 & -0.1455 & -0.6138 \\ 0.5721 & 4.2579 & 2.8706 & -4.4158 & -0.6536 \\ 0.2644 & 2.8706 & 2.6758 & -2.6653 & -1.0890 \\ -0.1455 & -4.4158 & -2.6653 & 6.8158 & -1.0674 \\ -0.6138 & -0.6536 & -1.0890 & -1.0674 & 3.1641 \end{bmatrix} $ を得ており、解の存在が確認された。