[論文レビュー] Dynamic programming principle for one kind of stochastic recursive optimal control problem and Hamilton-Jacobi-Bellman equations

Zhen Wu, Zhiyong Yu|arXiv (Cornell University)|Apr 28, 2007

Stochastic processes and financial applications参考文献 3被引用数 6

ひとこと要約

本稿は、反射バックワードストキャスティック微分方程式（RBSDE）によって支配されるコスト関数をもつ、障害物制約付きの確率的再帰的最適制御問題における動的計画法の原則を確立する。価値関数が障害物付きのハミルトニアン・ジャコビ・ベルマン（HJB）方程式の一意な粘性解であることを証明し、Pengの動的計画法フレームワークをマルコフ的設定下での制約付き再帰的制御問題へ拡張する。

ABSTRACT

In this paper, we study one kind of stochastic recursive optimal control problem with the obstacle constraints for the cost function where the cost function is described by the solution of one reflected backward stochastic differential equations. We will give the dynamic programming principle for this kind of optimal control problem and show that the value function is the unique viscosity solution of the obstacle problem for the corresponding Hamilton-Jacobi-Bellman equations.

研究の動機と目的

• コスト関数に障害物制約を課した再帰的最適制御問題への動的計画法の原則の拡張を目的とする。
• コスト関数が反射型BSDEによって制約される場合に、動的計画法の原則が依然として有効であるかどうかを調査すること。
• ハミルトニアン・ジャコビ・ベルマン（HJB）方程式の障害物付き問題の粘性解として価値関数を特徴付けること。
• マルコフ的仮定の下で、反射型BSDEを含む状況にPengの動的計画法フレームワークを一般化すること。

提案手法

• 下位障害物をもつ反射型BSDEによって定義されるコスト関数をもつ再帰的最適制御問題を定式化する。
• 反射型BSDEの後向き半群性質を用いて、動的計画法の原則を導出する。
• 反射型BSDEの解析的手法と事前推定を用いて、リプシッツ条件の下で原則が成り立つことを証明する。
• 価値関数と障害物付きHJB方程式の粘性解との間の関係を確立する。
• 反射型BSDEの比較定理と安定性結果を用いて、粘性解の一意性を保証する。
• マルコフ的フレームワークを用いて、価値関数を障害物制約付き非線形放物型PDEと結びつける。

実験結果

リサーチクエスチョン

• RQ1 コスト関数に障害物制約を課した再帰的最適制御問題に対して、動的計画法の原則は成立するか？
• RQ2 このような制約付き問題の価値関数は、障害物付きハミルトニアン・ジャコビ・ベルマン（HJB）方程式の粘性解として特徴付けられるか？
• RQ3 与えられたマルコフ的およびリプシッツ条件の下で、この粘性解は一意的か？
• RQ4 反射過程の存在が、再帰的制御における動的計画法構造にどのように影響するか？
• RQ5 この制御文脈において、反射型BSDEの定式化と障害物付きHJB方程式の関係は何か？

主な発見

• 障害物制約付きの確率的再帰的最適制御問題に対して、動的計画法の原則は有効である。
• 価値関数は、対応するハミルトニアン・ジャコビ・ベルマン（HJB）方程式の障害物問題の唯一の粘性解である。
• 証明は、反射型BSDEの後向き半群性質とリプシッツ条件の下での安定性推定に依存する。
• このフレームワークは、Pengの再帰的制御に関する先行研究を、反射と制約を含む状況に拡張する。
• 障害物制約は、最小増加過程を介してモデル化され、コスト関数が与えられた確率過程以上に保たれることを保証する。
• 本研究の結果は、反射型BSDEおよび混合制御問題に関する先行研究を、より広範な再帰的最適制御問題のクラスへ一般化する。