[論文レビュー] Time-Inconsistent Stochastic Optimal Control Problems and Backward Stochastic Volterra Integral Equations

Hanxiao Wang, Jiongmin Yong|arXiv (Cornell University)|Nov 12, 2019

Stochastic processes and financial applications参考文献 43被引用数 11

ひとこと要約

本稿では、後退ストキャスティック・ボルテラ積分方程式（BSVIE）を用いてコスト関数をモデル化することで、再帰的で非指数的割引を伴う、時間に整合しない確率的最適制御問題に取り組む。複数人の微分ゲームのアプローチを用い、均衡ハミルトニアン・ジャコビ・ベルマン（HJB）方程式を導出し、検証定理を確立する。本稿では、対角項 $ Z(s,s) $ を含む、新たなクラスの BSVIE を導入し、適切な条件下で解の存在・一意性および均衡戦略の特徴付けを示す。

ABSTRACT

An optimal control problem is considered for a stochastic differential equation with the cost functional determined by a backward stochastic Volterra integral equation (BSVIE, for short). This kind of cost functional can cover the general discounting (including exponential and non-exponential) situation with a recursive feature. It is known that such a problem is time-inconsistent in general. Therefore, instead of finding a global optimal control, we look for a time-consistent locally near optimal equilibrium strategy. With the idea of multi-person differential games, a family of approximate equilibrium strategies is constructed associated with partitions of the time intervals. By sending the mesh size of the time interval partition to zero, an equilibrium Hamilton--Jacobi--Bellman (HJB, for short) equation is derived, through which the equilibrium valued function and an equilibrium strategy are obtained. Under certain conditions, a verification theorem is proved and the well-posedness of the equilibrium HJB is established. As a sort of Feynman-Kac formula for the equilibrium HJB equation, a new class of BSVIEs (containing the diagonal value $Z(r,r)$ of $Z(\cd,\cd)$) is naturally introduced and the well-posedness of such kind of equations is briefly presented.

研究の動機と目的

• 標準的な指数的割引では再帰的効用や行動的好みを捉えきれない、時間に整合しない確率的最適制御問題に対処すること。
• 後退ストキャスティック・ボルテラ積分方程式（BSVIE）を用いてコスト関数をモデル化し、一般（非指数的）かつ再帰的な割引を可能にする。
• 複数人による微分ゲームの枠組みを用いて、時間に整合的で局所的に近似的最適な均衡戦略を構築すること。
• 均衡ハミルトニアン・ジャコビ・ベルマン（HJB）方程式を導出し、均衡値関数および戦略を特徴付けること。
• 対角項 $ Z(s,s) $ を含む、新たなクラスの BSVIE を導入し、均衡 HJB 方程式に対してフェインマン＝カープ型の表現を提供すること。

提案手法

• 状態過程 $ X(s) $ と制御 $ u(s) $ を持つ前向き Ito 型 SDE を用いて制御問題を定式化。ブラウン運動が駆動要因となる。
• コスト関数を BSVIE で定義：$ Y(t) = h(t,X(T)) + \int_t^T g(t,r,X(r),u(r),Y(r),Z(t,r))dr - \int_t^T Z(t,r)dW(r) $、ここで $ J(t,\xi;u(\cdot)) = Y(t) $。
• 時間分割を用いて近似均衡戦略を構築し、複数人による微分ゲームの手法を適用して均衡 HJB 方程式を導出。
• $ \Theta(t,s,x) $ を含む均衡 HJB 方程式を導出し、終端条件 $ \Theta(t,T,x) = h(t,x) $ を満たす。先行研究と比較して、$ \Theta(s,s,x) $ が $ \Theta(t,s,x) $ に置き換わることを示す。
• 対角値 $ Z(s,s) $ が明示的に現れる新たなクラスの BSVIE を導入し、適切な条件下でその解の存在・一意性を確立。
• 均衡 HJB 方程式の解が均衡戦略および値関数に一致することを保証する検証定理を証明。

実験結果

リサーチクエスチョン

• RQ1 非指数的かつ再帰的な割引を伴う時間に整合しない最適制御問題を、後退ストキャスティック・ボルテラ積分方程式（BSVIE）を用いてどのように定式化できるか。
• RQ2 このような問題において、時間に整合的で局所的に近似的最適な戦略を特徴付ける均衡ハミルトニアン・ジャコビ・ベルマン（HJB）方程式の構造は何か。
• RQ3 BSVIE に対角項 $ Z(s,s) $ を導入することで、均衡 HJB 方程式の定式化および解法にどのような影響を与えるか。
• RQ4 均衡 HJB 方程式が適切な条件下で適切に定義される（well-posed）ための条件は何か。また、検証定理を確立できる条件は何か。
• RQ5 パrameterized BSDE よりも BSVIE を用いることで、時間に整合しない制御における再帰的コスト関数にどのような意味のある影響を与えるか。

主な発見

• 本稿で導出された均衡 HJB 方程式は、ドリフト項において $ \Theta(t,s,x) $ の代わりに $ \Theta(s,s,x) $ を用いることで、先行研究と比較してより自然で数学的に簡略化された形となる。
• 対角項 $ Z(s,s) $ を明示的に含む、新たなクラスの後退ストキャスティック・ボルテラ積分方程式が導入され、これは均衡 HJB 方程式のフェインマン＝カープ型表現として自然に生じる。
• 係数の適切な正則性および有界性条件（非退化拡散を含む）の下で、均衡 HJB 方程式の適切な定義（well-posedness）が確立された。
• 検証定理が証明され、均衡 HJB 方程式の解が時間に整合的で局所的に近似的最適な均衡戦略を生成することを確認した。
• 複数人による微分ゲームと BSVIE を用いるアプローチは、パrameterized BSDE よりも再帰的かつ非指数的割引をより一貫性があり構造的に整合性のある枠組みで扱える。
• 本稿では、拡散が退化する場合の均衡 HJB 方程式の可解性、およびフィードバック写像 $ \psi $ が不規則または一意でない場合の粘性解の適用といった未解決の問題を特定した。