[論文レビュー] Time-Inconsistent Recursive Stochastic Optimal Control Problems

Qingmeng Wei, Jiongmin Yong+1 more|arXiv (Cornell University)|Jun 10, 2016

Stochastic processes and financial applications参考文献 7被引用数 6

ひとこと要約

本稿では、再帰的コスト関数を伴う時間不整合な再帰的確率的最適制御問題を解くために、多人数の階層的微分ゲームアプローチを提案する。均衡戦略を確立し、それに対応する均衡ハミルトニアン・ジャコビ・ベルマン（HJB）方程式を導出する。適切な条件下でその適切性（well-posedness）を証明することで、再帰的効用のもとでの非マルコフ的で時間不整合な制御のための厳密なフレームワークを提供する。

ABSTRACT

In this paper, we study a time-inconsistent stochastic optimal control problem with a recursive cost functional by a multi-person hierarchical differential game approach. An equilibrium strategy of this problem is constructed and a corresponding equilibrium Hamilton-Jacobi-Bellman (HJB, for short) equation is established to characterize the associated equilibrium value function. Moreover, a well-posedness result of the equilibrium HJB equation is established under certain conditions.

研究の動機と目的

• 従来の時間整合的最適性が、再帰的効用のため失敗する時間不整合な確率的最適制御問題に対処すること。
• 意思決定プロセスを、異なる意思決定時刻間の戦略的相互作用を反映する、多人数の階層的微分ゲームとしてモデル化すること。
• 再帰的コスト構造に特化した、新しい均衡HJB方程式を用いて、均衡戦略と価値関数を特徴づけること。
• 係数の弱い正則性および成長条件のもとで、均衡HJB方程式の適切性を確立すること。
• 再帰的効用の好みによって最適制御方策が時間不整合的であるような状況において、古典的確率的制御理論を拡張すること。

提案手法

• 状態過程 $X(s)$、制御過程 $u(s)$、ブラウン運動 $W(s)$ を用いた制御されたスデ（SDE）を、フィルトレート確率空間上に定義することで制御問題をモデル化する。
• 後向き確率微分方程式（BSDE）を用いて再帰的コスト関数を導入し、価値過程 $Y_0(t)$ が指数的割引を伴う期待割引コストを表す。
• 時間不整合性をモデル化するために階層的微分ゲームフレームワークを適用し、各意思決定時刻を非協力的ゲームにおける別個のプレイヤーとして扱う。
• 価値関数 $V(t,x)$、制御 $u$、勾配 $V_x$ を含む偏微分方程式（PDE）の連立系の解として均衡戦略を特徴づけることで、均衡HJB方程式を導出する。
• 均衡HJB方程式の解を用いて、現在の状態と時刻に依存するフィードバック制御としての均衡戦略 $u^*(t,x)$ を定義する。
• 核の有界性および係数の正則性仮定に依拠し、固定点法とグロワールド型推定を用いて、均衡HJB方程式の適切性を確立する。

実験結果

リサーチクエスチョン

• RQ1 コスト関数が将来の結果に再帰的に依存する場合、時間不整合な再帰的確率的最適制御問題はどのようにモデル化できるか？
• RQ2 ある時点での最適方策が後続の時点では最適でなくなるような確率的制御設定において、適切な均衡概念とは何か？
• RQ3 再帰的効用の存在下で、階層的微分ゲームフレームワークをどのように用いて一貫性のある均衡戦略を導出できるか？
• RQ4 このような問題に対して、均衡HJB方程式の解の存在および一意性を保証する条件は何か？
• RQ5 標準的な正則性および成長条件のもとで、均衡HJB方程式を厳密に導出し、その適切性を証明できるか？

主な発見

• 各意思決定時刻が非協力的プレイヤーとして機能する階層的微分ゲームアプローチにより、再帰的効用のもとで一貫性のある方策が構築される。
• 均衡価値関数は、均衡制御のフィードバック構造とコストの再帰的性質を組み込んだ、新しいタイプのHJB方程式を満たす。
• リプシッツ連続性および係数の線形成長といった弱い条件下で、固定点法を用いて均衡HJB方程式の適切性が示される。
• グロワールドの不等式および熱核 $\Gamma(t,x;s,y)$ を含む核推定を用いて、摂動に対して解の安定性が保証される。
• 均衡HJB方程式の解は、時間不整合的であるにもかかわらず、均衡の意味で時間整合的であるフィードバック制御則 $u^*(t,x)$ を得る。
• 近似解の収束性は $L^\infty$-型推定を用いて証明され、近似パラメータ $\Pi$ がゼロに近づくにつれて、近似解と真の解の差が消えることが示される。