[논문 리뷰] Viscosity Solutions of Stochastic Hamilton-Jacobi-Bellman Equations

Jinniao Qiu|arXiv (Cornell University)|2017. 09. 18.

Stochastic processes and financial applications참고 문헌 28인용 수 3

한 줄 요약

이 논문은 랜덤 계수를 가진 최적의 확률적 제어 문제에서 나타나는 완전 비선형 확률적 해밀턴-자코비-벨만(HJB) 방정식에 대한 점성 해 프레임워크를 제안한다. 가치 함수가 최대 점성 해임을 증명하고, 확산 계수들이 시간, 상태 및 제어에 대한 결정론적 함수인 초파라볼릭 조건 하에서 유일성을 입증한다.

ABSTRACT

In this paper we study the fully nonlinear stochastic Hamilton-Jacobi-Bellman (HJB) equation for the optimal stochastic control problem of stochastic differential equations with random coefficients. The notion of viscosity solution is introduced, and we prove that the value function of the optimal stochastic control problem is the maximal viscosity solution of the associated stochastic HJB equation. For the superparabolic cases when the diffusion coefficients are deterministic functions of time, states and controls, the uniqueness is addressed as well.

연구 동기 및 목표

• 비마르코프 설정에서 랜덤 계수를 가진 완전 비선형 확률적 HJB 방정식에 대한 해의 존재성과 유일성 문제를 해결하기 위해.
• 랜덤 계수를 가진 후행 확률적 PDE를 포함하는 확률적 HJB 방정식에 대해 엄밀한 점성 해의 개념을 정의하기 위해.
• 최적의 확률적 제어 문제의 가치 함수가 관련된 확률적 HJB 방정식의 최대 점성 해임을 확립하기 위해.
• 확산 계수가 결정론적일 때 초파라볼릭 조건 하에서 점성 해의 유일성을 증명하기 위해.
• 랜덤 계수를 가진 확률적 HJB 방정식을 통해 비마르코프 설정으로의 동적 프rogram밍 원리의 일반화를 위해.

제안 방법

• 브라운 운동과 랜덤 계수에 의해 구동되는 완전 비선형 확률적 HJB 방정식에 대한 점성 해 개념을 도입한다.
• 도브-마이어 분해를 사용하여 해의 시간 성분과 마틴갈 성분을 정의하고, 후행 확률적 PDE의 구조를 규명한다.
• 모르는 랜덤 필드 $u(t,x)$ 와 $\psi(t,x)$ 를 통해 해를 특성화하기 위해 확률적 미분 연산자 $\mathfrak{d}_t$ 와 $\mathfrak{d}_\omega$ 의 개념을 적용한다.
• 점성 해에 대한 비교 원리를 적용하여 가치 함수가 최대 해임을 입증한다.
• 이토의 공식과 사전 추정을 적용하여 가치 함수와 동적 비용 함수의 정규성과 연속성을 입증한다.
• 편미분 기반의 정규성 및 연속성 분석을 위해 계수의 리프시츠 조건과 상태 과정의 마르코프 성질에 기반한 변형 및 안정성 추정을 사용한다.

실험 결과

연구 질문

• RQ1 완전 비선형 확률적 HJB 방정식에 대한 점성 해 프레임워크를 랜덤 계수를 가진 경우에 개발할 수 있는가?
• RQ2 최적의 확률적 제어 문제의 가치 함수는 관련된 확률적 HJB 방정식의 최대 점성 해인가?
• RQ3 확률적 HJB 방정식의 점성 해가 어떤 조건에서 유일한가?
• RQ4 계수의 비마르코프적 구조는 확률적 HJB 방정식의 정규성과 해법 가능성에 어떤 영향을 미치는가?
• RQ5 완전 비선형 확률적 HJB 방정식에 랜덤 계수를 가진 설정에서 동적 프로그래밍 원리가 엄밀히 정당화될 수 있는가?

주요 결과

• 주어진 가정 하에서 가치 함수 $V(t,x)$ 는 방정식 (1.5)의 최대 점성 해이다.
• 확산 계수 $\sigma$ 가 결정론적(즉, $\omega$ 와 무관)인 초파라볼릭 케이스에서는 점성 해가 유일하다.
• 값 함수 $V(t,x)$ 는 $t$ 에 대해 연속적이며, 거의 확실하게 $x$ 에 대해 리프시츠 연속적이다. $(s,y) \to (t,x)$ 일 때 $|V(t,x) - V(s,y)| \to 0$ 이다.
• 동적 비용 함수 $J(t,x;\theta)$ 는 $t$ 에 대해 연속적이며, 제어 $\theta$ 에 대해 균일하게 $x$ 에 대해 리프시츠 연속적이다.
• 값 함수는 생성자 $\mathbb{H}$ 가 제어에 대한 본질적 하한값을 통해 정의됨을 고려할 때, 점성 의미에서 확률적 HJB 방정식을 만족한다.
• 해의 구조는 확률적 파이엔만-카프 공식과 후행 확률적 PDE 이론과 일관되며, 고전 결과를 완전 비선형 설정으로 확장한다.