[論文レビュー] Two Different Approaches to Stochastic Recursive Optimal Control Problem with Delay and Applications

Jingtao Shi|arXiv (Cornell University)|Apr 23, 2013

Stochastic processes and financial applications参考文献 18被引用数 1

ひとこと要約

本稿では、後向きおよび前向き-後向き確率的微分方程式を用いて、時間遅れを伴う確率的再帰的最適制御問題を解くために、動的計画法と確率的最強原理の2つの異なるアプローチを開発する。一般化されたハミルトニアン・ジョビ・ベルマン方程式を確立し、有限次元空間において両手法による明示解が一致することを証明することで、再帰的効用ポートフォリオ最適化における一貫性と適用可能性を示している。

ABSTRACT

This paper is concerned with a stochastic recursive optimal control problem with time delay, where the controlled system is described by a stochastic differential delayed equation (SDDE) and the cost functional is formulated as the solution to a backward SDDE (BSDDE). When there are only the pointwise and distributed time delays in the state variable, a generalized Hamilton-Jacobi-Bellman (HJB) equation for the value function in finite dimensional space is obtained, applying dynamic programming principle. This generalized HJB equation admits a smooth solution when the coefficients satisfy a particular system of first order partial differential equations (PDEs). A sufficient maximum principle is derived, where the adjoint equation is a forward-backward SDDE (FBSDDE). Under some differentiability assumptions, the relationship between the value function, the adjoint processes and the generalized Hamiltonian function is obtained. A consumption and portfolio optimization problem with recursive utility in the financial market, is discussed to show the applications of our result. Explicit solutions in a finite dimensional space derived by the two different approaches, coincide.

研究の動機と目的

• 状態ダイナミクスに時間遅れを含む確率的再帰的最適制御問題に対処すること。
• 動的計画法を用いて、有限次元空間における価値関数の一般化されたハミルトニアン・ジョビ・ベルマン方程式を導出すること。
• 前向き-後向き確率的微分方程式として定式化された随伴方程式を用いて、十分な最強原理を確立すること。
• 微分可能性の仮定の下で、価値関数、随伴過程、および一般化されたハミルトニアン関数の関係を明らかにすること。
• 具体的な金融応用として、再帰的効用消費およびポートフォリオ最適化問題を通じて理論的結果の適用可能性を示すこと。

提案手法

• 点時刻および分布時刻の遅れを含む確率的微分遅延方程式（SDDE）を用いて制御系を定式化すること。
• 後向き確率的微分方程式（BSDDE）の解としてコスト関数を定義することで、再帰的効用のモデル化を可能にすること。
• 動的計画法を適用し、有限次元空間における一般化されたHJB方程式を導出すること。
• 係数が特定の1階偏微分方程式系を満たす場合に、一般化されたHJB方程式が滑らかな解を有することを確立すること。
• 前向き-後向き確率的微分方程式（FBSDDE）として定式化された随伴方程式を用いて、十分な最強原理を導出すること。
• 微分可能性の仮定の下で、価値関数、随伴過程、および一般化されたハミルトニアン関数の関係を結びつけること。

実験結果

リサーチクエスチョン

• RQ1 状態変数に時間遅れを含む確率的再帰的制御問題に対して、動的計画法をどのように拡張できるか。
• RQ2 このような問題に対して、一般化されたハミルトニアン・ジョビ・ベルマン方程式の形は何か。また、その方程式が滑らかな解を有するための条件は何か。
• RQ3 この遅れ付き再帰的制御設定において、十分な最強原理はどのように適用可能になるか。関連する随伴方程式の構造は何か。
• RQ4 この文脈において、価値関数、随伴過程、および一般化されたハミルトニアン関数の関係は何か。
• RQ5 動的計画法と最強原理の両アプローチが、具体的な金融応用において一貫した明示解をもたらすか。

主な発見

• 状態変数に時間遅れを組み込んだ有限次元空間における価値関数の一般化されたハミルトニアン・ジョビ・ベルマン方程式が導出された。
• 係数が特定の1階偏微分方程式系を満たす場合、一般化されたHJB方程式は滑らかな解を有する。
• 随伴方程式が前向き-後向き確率的微分方程式（FBSDDE）として定式化された十分な最強原理が確立された。
• 微分可能性の仮定の下で、価値関数、随伴過程、および一般化されたハミルトニアン関数の間の明確な関係が得られた。
• 再帰的効用消費およびポートフォリオ最適化問題において、両手法（動的計画法と最強原理）によって得られる明示解が一致することが示された。