[논문 리뷰] Time-Inconsistent Stochastic Optimal Control Problems and Backward Stochastic Volterra Integral Equations

Hanxiao Wang, Jiongmin Yong|arXiv (Cornell University)|2019. 11. 12.

Stochastic processes and financial applications참고 문헌 43인용 수 11

한 줄 요약

이 논문은 후행 확률 볼테라 적분 방정식(BSIVIE)을 통해 비용 함수를 모델링하여 시간에 비례하지 않는 확률적 최적 제어 문제를 다룬다. 이는 재귀적이고 비지수적 할인을 가능하게 한다. 다인자 미분 게임 접근법을 사용하여 평형 해밀턴–자코비–벨만(HJB) 방정식을 유도하고, 검증 정리를 수립하며, 대각항 $ Z(s,s) $ 를 포함하는 새로운 유형의 BSVIE를 도입한다. 적절한 조건 하에서 해의 존재성과 평형 전략의 특성화가 이루어진다.

ABSTRACT

An optimal control problem is considered for a stochastic differential equation with the cost functional determined by a backward stochastic Volterra integral equation (BSVIE, for short). This kind of cost functional can cover the general discounting (including exponential and non-exponential) situation with a recursive feature. It is known that such a problem is time-inconsistent in general. Therefore, instead of finding a global optimal control, we look for a time-consistent locally near optimal equilibrium strategy. With the idea of multi-person differential games, a family of approximate equilibrium strategies is constructed associated with partitions of the time intervals. By sending the mesh size of the time interval partition to zero, an equilibrium Hamilton--Jacobi--Bellman (HJB, for short) equation is derived, through which the equilibrium valued function and an equilibrium strategy are obtained. Under certain conditions, a verification theorem is proved and the well-posedness of the equilibrium HJB is established. As a sort of Feynman-Kac formula for the equilibrium HJB equation, a new class of BSVIEs (containing the diagonal value $Z(r,r)$ of $Z(\cd,\cd)$) is naturally introduced and the well-posedness of such kind of equations is briefly presented.

연구 동기 및 목표

• 표준 지수 할인이 재귀적 유틸리티나 행동적 선호를 반영하지 못하는 시간에 비례하지 않는 확률적 최적 제어 문제를 다루기 위해.
• 후행 확률 볼테라 적분 방정식(BSVIE)을 사용하여 비용 함수를 모델링함으로써 일반적(비지수적)이고 재귀적인 할인을 가능하게 하기 위해.
• 다인자 미분 게임 프레임워크를 통해 시간에 일관되며 국소적으로 near-최적인 평형 전략을 구성하기 위해.
• 평형 값 함수와 전략을 특성화하는 평형 해밀턴–자코비–벨만(HJB) 방정식을 도출하고 분석하기 위해.
• 대각항 $ Z(s,s) $ 가 포함된 새로운 유형의 BSVIE를 도입하고, 이에 대해 평형 HJB 방정식에 대한 페인만–카프 유형의 표현을 제공하기 위해.

제안 방법

• 상태 과정 $ X(s) $ 와 제어 $ u(s) $ 를 포함하는 정방향 SDE를 사용하여 제어 문제를 수립하며, 브라운 운동에 의해 구동된다.
• 비용 함수를 BSVIE를 통해 정의한다: $ Y(t) = h(t,X(T)) + \int_t^T g(t,r,X(r),u(r),Y(r),Z(t,r))dr - \int_t^T Z(t,r)dW(r) $, 여기서 $ J(t,\xi;u(\cdot)) = Y(t) $ 이다.
• 시간 분할을 통해 근사 평형 전략을 구성하고, 다인자 미분 게임 접근법을 적용하여 평형 HJB 방정식을 도출한다.
• 드리프트 항에 $ \Theta(t,s,x) $ 가 포함된 평형 HJB 방정식을 유도하며, 종단 조건 $ \Theta(t,T,x) = h(t,x) $ 를 갖는다. 이는 이전 연구와 비교해 $ \Theta(s,s,x) $ 가 $ \Theta(t,s,x) $ 로 대체됨을 보여준다.
• 대각항 $ Z(s,s) $ 가 명시적으로 포함된 새로운 유형의 BSVIE를 도입하고, 적절한 조건 하에서 그 해의 존재성을 확립한다.
• 해의 존재성과 평형 전략 및 값 함수 간의 관계를 보장하는 검증 정리를 증명한다.

실험 결과

연구 질문

• RQ1 비지수적이고 재귀적인 할인을 고려하는 시간에 비례하지 않는 최적 제어 문제를 어떻게 후행 확률 볼테라 적분 방정식(BSVIE)을 통해 수식화할 수 있는가?
• RQ2 이러한 문제에서 시간에 일관되며 국소적으로 near-최적인 전략을 특성화하는 평형 해밀턴–자코비–벨만(HJB) 방정식의 구조는 어떠한가?
• RQ3 BSVIE에 대각항 $ Z(s,s) $ 가 도입될 경우, 평형 HJB 방정식의 수식화와 해법에 어떤 영향을 미치는가?
• RQ4 평형 HJB 방정식이 잘 정의되어 있는 조건은 무엇이며, 언제 검증 정리를 확립할 수 있는가?
• RQ5 시간에 비례하지 않는 제어에서 매개변수화된 BSDE 대비 BSVIE를 사용할 경우, 재귀적 비용 함수에 대한 의미는 무엇인가?

주요 결과

• 이 논문에서 유도된 평형 HJB 방정식은 드리프트 항에서 $ \Theta(t,s,x) $ 를 $ \Theta(s,s,x) $ 로 대체함으로써, 이전 접근법에 비해 더 자연스럽고 수학적으로 단순화된 형태를 취한다.
• 대각항 $ Z(s,s) $ 가 명시적으로 포함된 새로운 유형의 후행 확률 볼테라 적분 방정식이 도입되었으며, 이는 평형 HJB 방정식의 페인만–카프 표현으로 자연스럽게 유도된다.
• 계수에 대한 적절한 정규성 및 유계성 조건, 비특이 확산 조건 하에서 평형 HJB 방정식의 해의 존재성이 확립된다.
• 해의 존재성과 평형 전략 및 값 함수 간의 관계를 보장하는 검증 정리가 증명되었으며, 이는 평형 HJB 방정식의 해가 시간에 일관되며 국소적으로 near-최적인 평형 전략을 유도함을 확인한다.
• 다인자 미분 게임과 BSVIE를 통한 접근은 매개변수화된 BSDE에 비해 재귀적이고 비지수적 할인에 대해 더 일관되고 구조적으로 탄탄한 프레임워크를 제공한다.
• 논문은 아직 해결되지 않은 문제들을 밝히며, 비특이성이 없는 확산 조건 하에서 평형 HJB 방정식의 해 존재성과, 피드백 맵 $ \psi $ 가 비정규적이거나 유일하지 않을 경우의 점성 해법의 사용을 제기한다.