[논문 리뷰] Path-dependent Hamilton-Jacobi-Bellman equation: Uniqueness of Crandall-Lions viscosity solutions

Andrea Cosso, Fausto Gozzi외 2명|arXiv (Cornell University)|2021. 07. 13.

Stochastic processes and financial applications참고 문헌 37인용 수 4

한 줄 요약

이 논문은 비마르코프 동역학을 가진 확률적 최적 제어 문제에서 나타나는 경로에 의존하는 해밀턴-자코비-벨리만(HJB) 방정식에 대한 Crandall-Lions 점성 해의 유일성을 확립한다. 유한차원 사영을 통한 근사와 포물형 PDE의 정규성 결과를 활용하여, 저자들은 가치 함수가 유일한 점성 해임을 증명함으로써, 일반 조건 하에서 경로에 의존하는 PDE 이론의 핵심적 간극을 메운다.

ABSTRACT

We formulate a path-dependent stochastic optimal control problem under general conditions, for which weprove rigorously the dynamic programming principle and that the value function is the unique Crandall-Lions viscosity solution of the corresponding Hamilton-Jacobi-Bellman equation. Compared to the literature, the proof of our core result, that is the comparison theorem, is based on the fact that the valuefunction is bigger than any viscosity subsolution and smaller than any viscosity supersolution. It alsorelies on the approximation of the value function in terms of functions defined on finite-dimensionalspaces as well as on regularity results for parabolic partial differential equations.

연구 동기 및 목표

• 비유한차원 제어 문제에서 경로에 의존하는 HJB 방정식에 대한 Crandall-Lions 점성 해의 유일성을 확립하기.
• 일반 조건 하에서 경로에 의존하는 확률적 최적 제어 문제에 대해 동적 프ogramming 원리를 엄밀히 증명하기.
• 문헌에서의 갭을 메우기 위해 경로에 의존하는 설정에서 점성 해에 대한 비교 정리 제공하기.
• 값 함수가 모든 하위해를 지배하고 모든 초해를 지배하는 프레임워크 개발하기.
• 기능적 Itô 미분법과 실린더 근사를 사용하여 점성 해 이론을 경로에 의존하는 PDE로 확장하기.

제안 방법

• 비예측적 계수와 점진적으로 측정 가능한 제어를 가진 경로에 의존하는 확률적 최적 제어 문제를 수립한다.
• 기능적 Itô 미분법을 적용하여 수평 및 수직 도함수를 정의하고, 이를 통해 경로에 의존하는 HJB 방정식을 수립한다.
• 실린더 근사를 사용하여 무한차원 가치 함수를 정규화된 경로별 도함수를 통한 유한차원 공간으로 사영한다.
• 고전적 포물형 PDE 이론과 안정성 결과를 사용하여 근사된 가치 함수의 정규성을 확립한다.
• 매끄러운 변분 원리와 비교 정리를 활용하여 가치 함수가 임의의 하위해와 초해 사이에 놓여 있음을 보인다.
• 증가하는 근사 차원의 극한에서 근사된 해가 진짜 가치 함수로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 경로에 의존하는 확률적 제어 문제의 가치 함수는 해당 HJB 방정식의 점성 해로서 유일하게 특징지어질 수 있는가?
• RQ2 경로에 의존하는 PDE의 맥락에서 Crandall-Lions 점성 해에 대해 비교 원리가 성립하는가?
• RQ3 유한차원 PDE의 해를 통해 가치 함수를 근사할 수 있으며, 이 과정에서 점성 해 성질을 유지할 수 있는가?
• RQ4 기능적 Itô 미분법에서의 수평 및 수직 도함수는 어떻게 경로에 의존하는 HJB 방정식 분석을 지원하는가?
• RQ5 경로에 의존하는 계수를 가진 비마르코프 SDE에 대해 동적 프로그래밍 원리는 어떤 조건에서 성립하는가?

주요 결과

• 계수에 대한 일반적인 가정 하에서, 가치 함수는 경로에 의존하는 HJB 방정식의 유일한 Crandall-Lions 점성 해이다.
• 비교 정리를 확립하기 위해 가치 함수가 모든 점성 하위해보다 크고 모든 점성 초해보다 작다는 것을 보였다.
• 값 함수는 각각 매끄러운 계수를 가진 고전적 PDE를 만족하는 유한차원 공간에서 정의된 함수들의 수열로 근사된다.
• 근사 차원이 증가함에 따라 근사된 해는 점별로 진짜 가치 함수로 수렴한다.
• 값 함수는 시간과 경로 공간에서 허더 타입 연속성 조건을 만족하며, 이 모듈러스는 문제의 리프시츠 상수와 시간 영역에 따라 달라진다.
• 실린더 근사의 극한에서 점성 해 성질이 유지되어 안정성과 유일성이 보장된다.