[논문 리뷰] Time-Inconsistent Optimal Control Problems and the Equilibrium HJB Equation

Jiongmin Yong|arXiv (Cornell University)|2012. 04. 03.

Stochastic processes and financial applications참고 문헌 10인용 수 23

한 줄 요약

이 논문은 정수 계수를 가진 확률적 시스템에서 시간에 비례하지 않는 최적 제어 문제를 위한 해밀턴-자코비-벨리만(Hamilton-Jacobi-Bellman, HJB) 방정식 프레임워크를 개발한다. 새로운 적분방정식 설정을 통해 평형 해의 존재성과 유일성을 확립함으로써 선형-제곱형 및 메르톤 포트폴리오 문제에 대한 시간에 일관된 전략을 구성할 수 있게 된다.

ABSTRACT

A general time-inconsistent optimal control problem is considered for stochastic differential equations with deterministic coefficients. Under suitable conditions, a Hamilton-Jacobi-Bellman type equation is derived for the equilibrium value function of the problem. Well-posedness and some properties of such an equation is studied, and time-consistent equilibrium strategies are constructed. As special cases, the linear-quadratic problem and a generalized Merton's portfolio problem are investigated.

연구 동기 및 목표

• 비지수 할인으로 인해 표준 동적 프rogramming가 실패하는 확률적 미분방정식에서 시간에 비례하지 않는 최적 제어 문제를 다루기 위해.
• 이러한 문제의 평형 가치 함수를 지배하는 해밀턴-자코비-벨리만 유형의 방정식을 유도하기 위해.
• 적절한 조건 하에서 평형 HJB 방정식의 잘 정의됨과 구조적 성질을 확립하기 위해.
• 선형-제곱형 및 일반화된 메르톤 포트폴리오 모델을 포함한 특정 클래스 문제에 대해 시간에 일관된 평형 제어를 구성하기 위해.
• 비마르코프, 시간에 비례하지 않는 설정에서 평형 전략에 대한 엄밀한 수학적 프레임워크를 제공하기 위해.

제안 방법

• 평형 제어와 가치 함수를 특성화하기 위해 정방향-역방향 확률적 미분방정식(FBSDE) 시스템을 유도한다.
• 시간에 비례하지 않는 제어 문제에서 시간에 일관된 전략을 위한 필수 조건으로 평형 HJB 방정식을 도입한다.
• 함수 $\varphi(t,t)$ 를 포함한 새로운 적분방정식을 사용하여 평형 가치 함수 $V(t,x) = \varphi(t,t)x^\beta$ 를 특성화한다.
• 수축 사상 정리와 계속성 추론을 적용하여 $z(t) = \varphi(t,t)/\nu(t,t)$ 에 대한 적분방정식의 잘 정의됨을 증명한다.
• $\nu(t,s)$ 와 $\rho(t)$ 에 대한 조건 하에서 그론발라 유형 부등식을 사용하여 해 $z(t)$ 의 경계를 확립한다.
• explicit한 시간에 일관된 평형 전략을 $\bar{u}(t) = -\frac{\mu - r}{\sigma^2(1 - \beta)} \bar{X}(t)$ 와 $\bar{c}(t) = \left(\frac{\nu(t,t)}{\varphi(t,t)}\right)^{1/(1 - \beta)} \bar{X}(t)$ 를 통해 구성한다.

실험 결과

연구 질문

• RQ1 시간에 비례하지 않는 선호도를 가진 확률적 최적 제어 문제에서 시간에 일관된 평형 전략을 어떻게 특성화할 수 있는가?
• RQ2 이러한 비마르코프, 시간에 비례하지 않는 설정에서 평형 가치 함수를 지배하는 적절한 HJB 유형 방정식은 무엇인가?
• RQ3 평형 HJB 방정식이 잘 정의되고 유일한 해를 갖기 위한 조건는 무엇인가?
• RQ4 선형-제곱형 및 메르톤 유형 포트폴리오 문제에서 시간에 비례하지 않는 상황에서 시간에 일관된 제어를 어떻게 명시적으로 구성할 수 있는가?
• RQ5 $z(t)$ 를 위한 적분방정식은 평형 해의 존재성과 유일성을 보장하기 위해 어떤 역할을 하는가?

주요 결과

• 평형 HJB 방정식은 시간에 비례하지 않는 최적 제어 문제에서 시간에 일관된 전략을 위한 필수 조건으로 도출된다.
• 적분방정식에 수축 사상 원리를 적용하여 평형 HJB 방정식의 잘 정의됨이 입증된다.
• 조건 $\bar{\lambda} = \sup_{t<s} \frac{-\ln \nu(t,s)}{s - t} < \infty$ 하에서 해 $z(t)$ 에 대한 사전 경계가 유도된다: $e^{(\lambda - \bar{\lambda})(T - t)} \min \rho \leq z(t) \leq e^{\lambda(T - t)} \max \rho$.
• 선형-제곱형 문제의 경우, 평형 제어는 $\bar{u}(t) = -\frac{\mu - r}{\sigma^2(1 - \beta)} \bar{X}(t)$ 로 명시적으로 주어지고, 소비는 $\bar{c}(t) = \left(\frac{\nu(t,t)}{\varphi(t,t)}\right)^{1/(1 - \beta)} \bar{X}(t)$ 로 주어진다.
• 평형 가치 함수는 $V(t,x) = \varphi(t,t)x^\beta$ 이며, 여기서 $\varphi(t,t)$ 는 적분방정식 (6.20) 을 만족한다.
• 주어진 조건 하에서 적분방정식의 해는 유일하므로, 시간에 일관된 평형 전략의 존재성이 보장된다.