[論文レビュー] Mixed Equilibrium Solution of Time-Inconsistent Stochastic LQ Problem

Yuan‐Hua Ni, Xun Li+2 more|arXiv (Cornell University)|Feb 8, 2018

Stochastic processes and financial applications参考文献 13被引用数 6

ひとこと要約

本稿は、時間に依存しない離散時間平均場確率的線形二次（LQ）制御問題における混合均衡解を導入し、純フィードバック戦略とオープンループ制御を組み合わせる。前向き・後向き確率的差分方程式を用いて、存在に関する必要十分条件を確立し、10の異なるケースを含む具体例を通じて、オープンループ解やフィードバック解が存在しない場合でも混合均衡解が存在しうることを示した。

ABSTRACT

In this paper, we propose a novel equilibrium solution notion for the time-inconsistent stochastic linear-quadratic optimal control problem. This notion is called the mixed equilibrium solution, which consists of two parts: a pure-feedback-strategy part and an open-loop-control part. When the pure-feedback-strategy part is zero or the open-loop-control part does not depend on the initial state, the mixed equilibrium solution reduces to the open-loop equilibrium control and the feedback equilibrium strategy, respectively. Using a maximum-principle-like methodology with forward-backward stochastic difference equations, a necessary and sufficient condition is established to characterize the existence of a mixed equilibrium solution. Then, by decoupling the forward-backward stochastic difference equations, three sets of difference equations, which together portray the existence of a mixed equilibrium solution, are obtained. Moreover, the case with a fixed time-state initial pair and the case with all the initial pairs are separately investigated. Furthermore, an example is constructed to show that the mixed equilibrium solution exists for all the initial pairs, although neither the open-loop equilibrium control nor the feedback equilibrium strategy exists for some initial pairs.

研究の動機と目的

• 時間に依存しない確率的LQ制御における時間不整合性を解消するため、新たな均衡解概念を導入する。
• 単一の枠組み内でオープンループ均衡制御とフィードバック均衡戦略を統合する。
• 平均場確率的LQ問題における混合均衡解が存在する条件を特定する。
• 標準的解が失敗する場合の解の存在と非一意性を調査する。
• 古典的LQ制御を超えて、均衡解の理論的基盤を拡張する。

提案手法

• 純フィードバック戦略部とオープンループ制御部から成る混合均衡解を提案する。
• 前向き・後向き確率的差分方程式（FBSDE）に基づく最大原理に類似した手法を採用する。
• FBSDEを3セットの差分方程式に分解することで、混合均衡解の存在に関する必要十分条件を導出する。
• 初期時刻・状態ペアが固定された場合と、すべての初期ペアを考慮する場合の2つのケースを分析し、より広範な存在条件を確立する。
• 条件付き期待値と可逆演算子（例：$\mathcal{O}_k^\dagger$）を含む行列方程式を用いて明示的解を構築する。
• 10の異なるパラメータセットを用いた数値例を通じて、存在を検証し、各ケースで有効な混合均衡解が得られた。

実験結果

リサーチクエスチョン

• RQ1 時間に依存しない確率的LQ制御において、オープンループとフィードバック戦略を統合する統一的解概念は可能か？
• RQ2 オープンループ解やフィードバック均衡解が存在しない場合、混合均衡解が存在する条件は何か？
• RQ3 前向き・後向き確率的差分方程式は、どのように分解され、均衡解を特徴づけられるか？
• RQ4 異なる初期条件において、混合均衡解の構造と非一意性の性質は何か？
• RQ5 混合均衡解の概念は、連続時間設定や非LQ問題へと拡張可能か？

主な発見

• 10のテスト初期ペアすべてにおいて、混合均衡解が存在した。ただし、そのうちのいくつかのペアでは、オープンループ均衡制御やフィードバック均衡戦略は存在しなかった。
• 10のすべてのケースで$\mathbb{O}_k > 0$であり、$\mathcal{O}_k$は可逆であるため、定理3.13の存在条件を満たしている。
• 解は$\Phi_k$と$v^{0,x}_k = - (\mathcal{O}_k^\dagger \mathcal{L}_k + \Phi_k) X_k^{0,x,*}$を用いて構築され、各時刻で$\mathcal{O}_k^\dagger \mathcal{L}_k$が明示的に計算されている。
• 状態の進化は$X^{0,x,*}_{k+1} = (A_k - B_k \mathcal{O}_k^\dagger \mathcal{L}_k) X_k^{0,x,*} - D_k \mathcal{O}_k^\dagger \mathcal{L}_k X_k^{0,x,*} w_k$に従い、経路依存的なダイナミクスを示している。
• 混合均衡解は、オープンループとフィードバック戦略を一般化しており、片方の成分が消える場合にはそれらに還元される。
• 混合均衡解の非一意性が示されたため、均衡値関数を最小化するような選択基準の導入が求められる。