[論文レビュー] Time-Inconsistent Optimal Control Problems and the Equilibrium HJB Equation

Jiongmin Yong|arXiv (Cornell University)|Apr 3, 2012

Stochastic processes and financial applications参考文献 10被引用数 23

ひとこと要約

本稿は、決定的係数を有する確率的システムにおける時間非一貫最適制御問題のためのハミルトニアン・ジャコビ・ベルルマン（HJB）方程式フレームワークを開発する。新規の積分方程式定式化を用いて、均衡解の存在および一意性を確立し、線形二次およびメルトンポートフォリオ問題に対する時間的一致戦略の構築を可能にする。

ABSTRACT

A general time-inconsistent optimal control problem is considered for stochastic differential equations with deterministic coefficients. Under suitable conditions, a Hamilton-Jacobi-Bellman type equation is derived for the equilibrium value function of the problem. Well-posedness and some properties of such an equation is studied, and time-consistent equilibrium strategies are constructed. As special cases, the linear-quadratic problem and a generalized Merton's portfolio problem are investigated.

研究の動機と目的

• 非指数的割引による動的プログラミングの失敗が生じる確率的微分方程式における時間非一貫最適制御問題に対処すること。
• このような問題における均衡値関数を支配するハミルトニアン・ジャコビ・ベルルマン型方程式を導出すること。
• 適切な条件下で、均衡HJB方程式の適切な解の存在および構造的性質を確立すること。
• 線形二次および一般化されたメルトンポートフォリオモデルを含む特定の問題クラスに対して、時間的一致均衡制御を構築すること。
• 非マルコフ的かつ時間非一貫設定における均衡戦略の厳密な数学的枠組みを提供すること。この枠組みでは、前向き・後向きSDEおよび積分方程式が用いられる。

提案手法

• 均衡制御および値関数を特徴付けるために、前向き・後向き確率的微分方程式（FBSDE）系を導出する。
• 時間非一貫制御問題における時間的一致戦略の必要条件として、均衡HJB方程式を導入する。
• 関数 $\varphi(t,t)$ を含む新規の積分方程式を用いて、均衡値関数 $V(t,x) = \varphi(t,t)x^\beta$ を特徴付ける。
• 収縮写像定理および連続的延長法を用いて、$z(t) = \varphi(t,t)/\nu(t,t)$ の積分方程式の適切な解の存在を証明する。
• 関数 $\nu(t,s)$ および $\rho(t)$ に関する条件の下で、Gronwall型不等式を用いて解 $z(t)$ の上限を導出する。
• $\bar{u}(t) = -\frac{\mu - r}{\sigma^2(1 - \beta)} \bar{X}(t)$ および $\bar{c}(t) = \left(\frac{\nu(t,t)}{\varphi(t,t)}\right)^{1/(1 - \beta)} \bar{X}(t)$ を用いて、明示的な時間的一致均衡戦略を構築する。

実験結果

リサーチクエスチョン

• RQ1 時間非一貫好みを有する確率的最適制御問題において、時間的一致均衡戦略をどのように特徴付けることができるか？
• RQ2 このような非マルコフ的かつ時間非一貫設定において、均衡値関数を支配する適切なHJB型方程式は何か？
• RQ3 均衡HJB方程式が適切に定義され、一意解を有するための条件は何か？
• RQ4 線形二次およびメルトン型ポートフォリオ問題において、時間非一貫性下で明示的に時間的一致制御を構築する方法は何か？
• RQ5 解 $z(t)$ の積分方程式が、均衡解の存在および一意性を保証するために果たす役割は何か？

主な発見

• 均衡HJB方程式は、時間非一貫最適制御問題における時間的一致戦略の必要条件として導出された。
• 解 $z(t)$ の積分方程式に収縮写像法を適用することで、均衡HJB方程式の適切な解の存在が確立された。
• 関数 $\bar{\lambda} = \sup_{t<s} \frac{-\ln \nu(t,s)}{s - t} < \infty$ の条件下で、解 $z(t)$ の事前境界が導出された：$e^{(\lambda - \bar{\lambda})(T - t)} \min \rho \leq z(t) \leq e^{\lambda(T - t)} \max \rho$。
• 線形二次問題において、均衡制御は明示的に $\bar{u}(t) = -\frac{\mu - r}{\sigma^2(1 - \beta)} \bar{X}(t)$ で与えられ、消費は $\bar{c}(t) = \left(\frac{\nu(t,t)}{\varphi(t,t)}\right)^{1/(1 - \beta)} \bar{X}(t)$ で与えられる。
• 均衡値関数は $V(t,x) = \varphi(t,t)x^\beta$ であり、ここで $\varphi(t,t)$ は積分方程式 (6.20) を満たす。
• 与えられた条件下で、積分方程式の解は一意的であり、時間的一致均衡戦略の存在が保証される。