[논문 리뷰] Two Different Approaches to Stochastic Recursive Optimal Control Problem with Delay and Applications

Jingtao Shi|arXiv (Cornell University)|2013. 04. 23.

Stochastic processes and financial applications참고 문헌 18인용 수 1

한 줄 요약

이 논문은 시간 지연을 포함한 확률적 순환 최적 제어 문제를 해결하기 위해 동적 프로그래밍과 확률적 최대 원리의 두 가지 별개의 접근법을 개발한다. 이를 위해 후행 및 전진-후행 확률적 미분 방정식을 사용한다. 일반화된 하미르톤-조비-벨만 방정식을 수립하고, 유한 차원 설정에서 두 방법으로 유도된 명시적 해가 일致함을 증명하여 순환 유틸리티 포트폴리오 최적화에서의 일致성과 적용 가능성에 기여한다.

ABSTRACT

This paper is concerned with a stochastic recursive optimal control problem with time delay, where the controlled system is described by a stochastic differential delayed equation (SDDE) and the cost functional is formulated as the solution to a backward SDDE (BSDDE). When there are only the pointwise and distributed time delays in the state variable, a generalized Hamilton-Jacobi-Bellman (HJB) equation for the value function in finite dimensional space is obtained, applying dynamic programming principle. This generalized HJB equation admits a smooth solution when the coefficients satisfy a particular system of first order partial differential equations (PDEs). A sufficient maximum principle is derived, where the adjoint equation is a forward-backward SDDE (FBSDDE). Under some differentiability assumptions, the relationship between the value function, the adjoint processes and the generalized Hamiltonian function is obtained. A consumption and portfolio optimization problem with recursive utility in the financial market, is discussed to show the applications of our result. Explicit solutions in a finite dimensional space derived by the two different approaches, coincide.

연구 동기 및 목표

• 상태 동역학에서 시간 지연을 포함한 확률적 순환 최적 제어 문제를 다루기 위해.
• 동적 프로그래밍 원리를 사용하여 유한 차원 공간에서 가치 함수에 대한 일반화된 하미르톤-조비-벨만 방정식을 유도하기 위해.
• 전진-후행 확률적 미분 방정식으로 서술된 연관 수반 방정식을 통한 충분한 최대 원리를 수립하기 위해.
• 가능성 있는 미분 가정 하에 가치 함수, 수반 과정, 일반화된 해밀토니안 간의 관계를 탐색하기 위해.
• 실제 금융 응용 사례인 순환 유틸리티 소비 및 포트폴리오 최적화 문제를 통해 이론적 결과의 적용 가능성을 입증하기 위해.

제안 방법

• 지역적 및 분포형 시간 지연을 포함한 확률적 미분 지연 방정식(SDDE)을 사용하여 제어 시스템을 수립하기 위해.
• 비용 기능을 후행 확률적 미분 방정식(BSDDE)의 해로 정의하여 순환 유틸리티 모델링을 가능하게 하기 위해.
• 동적 프로그래밍 원리를 적용하여 유한 차원 공간에서 일반화된 HJB 방정식을 유도하기 위해.
• 계수들이 특정 1차 편미분방정식계를 만족할 경우 일반화된 HJB 방정식이 매끄러운 해를 가짐을 보장하는 조건을 수립하기 위해.
• 전진-후행 확률적 미분 방정식(FBSDDE)으로 표현된 수반 방정식을 사용하여 충분한 최대 원리를 도출하기 위해.
• 가능성 있는 미분 가정 하에 가치 함수, 수반 과정, 일반화된 해밀토니안 함수 간의 관계를 연결하기 위해.

실험 결과

연구 질문

• RQ1 상태 변수에 시간 지연이 포함된 경우 동적 프로그래밍 원리는 어떻게 일반화될 수 있는가?
• RQ2 이러한 문제에 대한 일반화된 하미르톤-조비-벨만 방정식의 형태는 무엇이며, 어떤 조건에서 매끄러운 해를 가질 수 있는가?
• RQ3 이러한 지연이 있는 순환 제어 설정에서 충분한 최대 원리는 어떻게 적용되며, 관련 수반 방정식의 구조는 어떠한가?
• RQ4 이러한 맥락에서 가치 함수, 수반 과정, 일반화된 해밀토니안 함수 간의 관계는 무엇인가?
• RQ5 동적 프로그래밍과 최대 원리 접근법이 실질적인 금융 응용에서 일致한 명시적 해를 도출할 수 있는가?

주요 결과

• 유한 차원 공간에서 상태 변수에 시간 지연을 포함한 가치 함수에 대한 일반화된 하미르톤-조비-벨만 방정식이 도출되었다.
• 계수들이 특정 1차 편미분방정식계를 만족할 경우 일반화된 HJB 방정식은 매끄러운 해를 가진다.
• 전진-후행 확률적 미분 방정식(FBSDDE)으로 서술된 수반 방정식을 갖는 충분한 최대 원리가 수립되었다.
• 가능성 있는 미분 가정 하에 가치 함수, 수반 과정, 일반화된 해밀토니안 함수 간의 정밀한 관계가 확립되었다.
• 순환 유틸리티 소비 및 포트폴리오 최적화 문제에서, 동적 프로그래밍과 최대 원리 접근법을 통해 유도된 명시적 해가 일致함을 입증하였다.